[논문 리뷰] DeepAtlas: Joint Semi-Supervised Learning of Image Registration and Segmentation

Zhenlin Xu, Marc Niethammer|arXiv (Cornell University)|2019. 04. 17.

Medical Image Segmentation Techniques참고 문헌 11인용 수 25

한 줄 요약

DeepAtlas는 수작업로고가 적은 이미지로 동시에 분할 및 정렬 네트워크를 훈련하는 통합 딥러닝 프레임워크를 제안한다. 정렬된 이미지 간 일관된 분할을 강제하는 해부학적 유사성 손실을 활용함으로써, 분할 및 정렬 정확도를 향상시키며, 무릎 및 뇌 MRI 데이터에서 일회성 학습 시나리오에서 최신 기술 수준의 성능을 달성하여, 각각 2.7 및 1.8 점의 절대 Dice 점수 향상을 이룬다.

ABSTRACT

Deep convolutional neural networks (CNNs) are state-of-the-art for semantic image segmentation, but typically require many labeled training samples. Obtaining 3D segmentations of medical images for supervised training is difficult and labor intensive. Motivated by classical approaches for joint segmentation and registration we therefore propose a deep learning framework that jointly learns networks for image registration and image segmentation. In contrast to previous work on deep unsupervised image registration, which showed the benefit of weak supervision via image segmentations, our approach can use existing segmentations when available and computes them via the segmentation network otherwise, thereby providing the same registration benefit. Conversely, segmentation network training benefits from the registration, which essentially provides a realistic form of data augmentation. Experiments on knee and brain 3D magnetic resonance (MR) images show that our approach achieves large simultaneous improvements of segmentation and registration accuracy (over independently trained networks) and allows training high-quality models with very limited training data. Specifically, in a one-shot-scenario (with only one manually labeled image) our approach increases Dice scores (%) over an unsupervised registration network by 2.7 and 1.8 on the knee and brain images respectively.

연구 동기 및 목표

• 3D 의료 영상 분석에서 수작업 분할 데이터가 제한된 문제를 해결하기 위해.
• 약한 및 반감성 신호를 사용해 네트워크를 공동으로 훈련시켜 정렬 및 분할 성능을 향상시키기 위해.
• 네트워크 간 상호 감독을 통해 일회성 분할 및 정렬을 가능하게 하기 위해.
• 각 쌍에 대한 최적화 없이도 확장 가능하고 종단 간(end-to-end) 딥러닝 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 이미지 정렬을 위한 네트워크와 분할을 위한 네트워크를 동시에 훈련시킨다.
• 이미지 유사성(L_i), 정렬 정규화(L_r), 해부학적 유사성(L_a), 감독된 분할(L_sp)의 가중치 합을 손실로 사용한다.
• 해부학적 유사성 손실(L_a)은 이동 이미지의 변형된 분할과 대상 이미지의 분할 간 이질성을 방지하여 해부학적 일관성을 강제한다.
• 정렬은 U-Net 기반 네트워크가 예측한 변위장으로 수행되며, 이는 이동 이미지를 대상 공간으로 변형하는 데 사용된다.
• 비라벨링된 이미지의 분할 예측은 해부학적 손실을 통해 정렬을 안내하며, 이는 데이터 증강의 한 형태가 된다.
• Adam 옵timizer와 학습률 스케줄링을 사용해 네트워크를 번갈아가며 훈련시켜, 각 이미지의 에너지 최소화 없이 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 수작업 분할 이미지가 몇 장뿐일 때, 분할 및 정렬 네트워크의 공동 학습이 성능 향상에 기여하는가?
• RQ2 정렬된 이미지 간 분할 일관성을 통합하면 정렬 정확도가 향상되는가?
• RQ3 비라벨링된 이미지에서 정렬 기반 데이터 증강을 통해 분할 네트워크는 이득을 볼 수 있는가?
• RQ4 단 한 장의 수작업 분할 이미지만 있는 일회성 학습 시나리오에서 이 프레임워크의 효과는 어떠한가?

주요 결과

• 무릎 MRI 데이터에서, DeepAtlas는 일회성 설정에서 무 supervision 정렬에 비해 2.7 점의 절대 Dice 점수 향상을 달성했다.
• 뇌 MRI의 경우, 단 한 장의 이미지만 수작업 분할된 상황에서, 무 supervision 정렬에 비해 Dice 점수를 1.8 점 향상시켰다.
• 5장의 수작업 레이블이 있는 무릎 이미지에서, 연골 구조물의 분할 Dice 점수는 독립적으로 훈련된 네트워크 대비 1.4~1.5 점 향상되었다.
• 무릎 이미지에서 5장과 10장의 레이블을 사용할 경우, 각각 연골의 정렬 정확도가 Dice 기준 5.5점과 5.2점 향상되었다.
• 모든 설정에서 별도로 훈련된 단일 네트워크보다 공동 훈련 전략(DA)이 유의하게 뛰어난 성능을 보였으며, FDR 보정 후 p < 0.05였다.
• 정성적 결과에서는 기준 방법 대비 더 해부학적으로 일관된 정렬 및 분할 결과를 보였다.