[논문 리뷰] LT-Net: Label Transfer by Learning Reversible Voxel-wise Correspondence for One-shot Medical Image Segmentation

Shuxin Wang, Shilei Cao외 6명|arXiv (Cornell University)|2020. 03. 16.

Medical Image Segmentation Techniques참고 문헌 40인용 수 5

한 줄 요약

LT-Net는 사이클 일致성 대응 학습을 통해 레이블이 부여된 아틀라스와 레이블이 없는 대상 이미지 간에 가역적인 볼륨별 대응 관계를 학습하는 일회성 의료 영상 분할 방법을 제안한다. 적대적 훈련과 사이클 일관성을 함께 사용하여 정방향 및 역방향 변형 필드를 동시 회귀함으로써, 단 한 개의 애너테이션 예시만으로도 기존 방법에 비해 유의미하게 정확도와 내성성을 향상시키며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a one-shot segmentation method to alleviate the burden of manual annotation for medical images. The main idea is to treat one-shot segmentation as a classical atlas-based segmentation problem, where voxel-wise correspondence from the atlas to the unlabelled data is learned. Subsequently, segmentation label of the atlas can be transferred to the unlabelled data with the learned correspondence. However, since ground truth correspondence between images is usually unavailable, the learning system must be well-supervised to avoid mode collapse and convergence failure. To overcome this difficulty, we resort to the forward-backward consistency, which is widely used in correspondence problems, and additionally learn the backward correspondences from the warped atlases back to the original atlas. This cycle-correspondence learning design enables a variety of extra, cycle-consistency-based supervision signals to make the training process stable, while also boost the performance. We demonstrate the superiority of our method over both deep learning-based one-shot segmentation methods and a classical multi-atlas segmentation method via thorough experiments.

연구 동기 및 목표

• 딥 러닝 기반 분할에서 레이블이 부여된 의료 영상의 수가 제한된 문제를 해결하기 위해 단 한 개의 레이블 예시만으로도 일회성 학습을 가능하게 한다.
• 실제 대응 관계가 없는 상황에서 사이클 일관성 감독을 도입하여 대응 학습의 안정성과 정확도를 향상시킨다.
• 해부학적 구조를 유지하는 양방향 변형 필드를 학습함으로써 딥 러닝을 활용한 아틀라스 기반 분할을 향상시킨다.
• 대규모 레이블이 부여된 데이터셋에 대한 의존도를 줄이기 위해 단일 레이블 아틀라스를 활용하여 새로운 레이블이 없는 스캔에 일반화할 수 있도록 한다.
• 수동 애너테이션에 시간과 비용이 많이 소요되는 임상 환경에서 안정적이고 정확한 분할을 달성한다.

제안 방법

• LT-Net는 아틀라스에서 대상 영상으로의 정방향 변형 필드와 변형된 아틀라스를 원래 아틀라스로 되돌리는 역방향 변형 필드를 학습하여 사이클 일관성 대응 학습 프레임워크를 구성한다.
• 모델은 VoxelMorph 기반 백본에 생성적 적대적 네트워크(GAN)를 통합하여, 실제 영상과 합성 영상 간을 구분하는 판별자에 의해 간접적 감독을 제공한다.
• 대상 영상과 변형된 아틀라스 간의 유사도를 측정하기 위해 局부 정규화된 상관관계 손실을 사용하여 국소적인 강도 일관성을 촉진한다.
• 변형 필드에 부드러움 손실을 적용하여 공간 기울기를 정규화하고 해부학적 왜곡을 방지한다.
• 유사도, 부드러움, 적대적 손실을 조합한 전체 손실 함수를 사용하여 단 한 개의 레이블 예시만으로도 네트워크를 엔드 투 엔드로 훈련한다.
• 정방향 및 역방향 변형의 조합이 항등 매핑에 근접하도록 함으로써 사이클 일관성을 강화하여 훈련 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 실제 대응 관계가 없는 상황에서 사이클 일관성 대응 학습이 일회성 의료 영상 분할의 내성성과 정확도를 향상시킬 수 있는가?
• RQ2 실제 영상과 합성 영상 간을 구분하는 판별자를 사용한 적대적 훈련이 실존하는 지도 없이 대응 학습을 어떻게 향상시키는가?
• RQ3 단방향 방법에 비해 역방향 대응 학습을 통합할 경우 분할 성능 향상 정도는 어느 정도인가?
• RQ4 단일 레이블 아틀라스를 사용하여 유연한, 가역적인 변형 필드만으로도 다양한 레이블이 없는 대상 영상에 효과적으로 일반화할 수 있는가?
• RQ5 기존의 다중 아틀라스 기반 방법과 최신 딥 러닝 기반 일회성 분할 방법과 비교했을 때, 제안된 방법은 정확도와 안정성 측면에서 어떻게 다른가?

주요 결과

• LT-Net는 CANDI 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존의 다중 아틀라스 기반 분할 및 최근의 딥 러닝 기반 일회성 방법을 모두 앞서간다.
• 역방향 대응 학습의 통합은 특히 실제 대응 관계가 없는 상황에서 훈련 안정성을 크게 향상시키고 모드 붕괴를 감소시킨다.
• 사이클 일관성 기반 감독 신호 덕분에 더 정확하고 해부학적으로 타당한 변형 필드를 도출하여 분할 품질을 향상시킨다.
• 실제 영상과 합성 영상 간을 구분하는 판별자를 사용한 적대적 훈련은 효과적인 간접 감독을 제공하여 일반화 능력과 내성성을 향상시킨다.
• CANDI 데이터셋의 28개 해부학적 구조 전반에 걸쳐 높은 Dice 점수를 기록하였으며, 대부분의 구조에서 평균 Dice 점수가 0.85를 초과한다.
• 제거 실험 결과, 역방향 대응 학습 또는 GAN 구성 요소를 제거할 경우 분할 성능에 심각한 하락이 발생함을 확인하여 설계 선택의 타당성을 입증한다.