[논문 리뷰] Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth

Yuankai Huo, Zhoubing Xu외 4명|arXiv (Cornell University)|2017. 12. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 11

한 줄 요약

이 논문은 종료된 MRI에서 CT로의 이미지 합성과 타겟 CT 모odal에서의 비틀림 분할을 동시에 수행하는 엔드 투 엔드 딥 러닝 프레임워크인 EssNet을 제안한다. 이는 타겟 CT 모달에서 수동 분할 레이블이 필요로 하지 않는다. 통합된 네트워크에서 적대적 합성과 분할을 통합함으로써 EssNet은 중앙값 Dice 유사도 계수 0.9188을 달성하였으며, 이는 두 단계 방법(0.8801)과 지도 학습 기반 기준선(실제 레이블 사용)을 모두 능가한다.

ABSTRACT

A lack of generalizability is one key limitation of deep learning based segmentation. Typically, one manually labels new training images when segmenting organs in different imaging modalities or segmenting abnormal organs from distinct disease cohorts. The manual efforts can be alleviated if one is able to reuse manual labels from one modality (e.g., MRI) to train a segmentation network for a new modality (e.g., CT). Previously, two stage methods have been proposed to use cycle generative adversarial networks (CycleGAN) to synthesize training images for a target modality. Then, these efforts trained a segmentation network independently using synthetic images. However, these two independent stages did not use the complementary information between synthesis and segmentation. Herein, we proposed a novel end-to-end synthesis and segmentation network (EssNet) to achieve the unpaired MRI to CT image synthesis and CT splenomegaly segmentation simultaneously without using manual labels on CT. The end-to-end EssNet achieved significantly higher median Dice similarity coefficient (0.9188) than the two stages strategy (0.8801), and even higher than canonical multi-atlas segmentation (0.9125) and ResNet method (0.9107), which used the CT manual labels.

연구 동기 및 목표

• 의료 영상 분할 분야에서 다양한 영상 모달 간의 일반화 능력이 제한된 문제를 해결하기 위해.
• 원천 모달(예: MRI)에서의 레이블을 활용하여 타겟 모달(예: CT)에서의 수동 분할 주석이 필요 없도록 하기 위해.
• 이미지 합성과 분할을 별도의 단계로 다루는 대신 함께 최적화하여 분할 성능을 향상시키기 위해.
• 합성과 분할 간 상호보완적 정보를 활용하여 더 나은 일반화를 달성하는 통합 프레임워크를 개발하기 위해.

제안 방법

• MRI에서 CT로의 이미지 합성과 CT 비장 분할을 동시에 수행하는 엔드 투 엔드 딥 신경망인 EssNet을 제안한다.
• 공유된 인코더-디코더 아키텍처 내에서 CycleGAN 기반의 이미지 번역 모듈과 분할 헤드를 통합한다.
• 합성된 CT 이미지가 실제 CT 스캔과 구별되지 않도록 보장하기 위해 적대적 훈련을 사용한다.
• 실제 CT 레이블이 필요 없이 MRI 입력으로부터 생성된 합성 CT 이미지에 대해 훈련된 분할 브랜치를 활용한다.
• 적대적, 사이클 일관성, 분할 손실을 조합한 복합 손실 함수를 사용하여 전체 네트워크를 엔드 투 엔드로 최적화한다.
• 합성과 분할 간 피드백을 통해 이미지 번역 품질과 분할 정확도를 동시에 향상시킨다.

실험 결과

연구 질문

• RQ1 타겟 모달의 실제 레이블이 없이도 이미지 합성과 분할의 공동 최적화가 분할 성능 향상에 기여할 수 있는가?
• RQ2 비쌍 모달 번역에서 엔드 투 엔드 훈련은 두 단계 훈련에 비해 분할 정확도 측면에서 어떻게 비교되는가?
• RQ3 실제 CT 주석이 없이도 MRI에서 CT로의 합성된 이미지 분포가 분할 네트워크 훈련에 충분히 현실적이며 유용한가?
• RQ4 합성과 분할 간의 상호작용이 모델의 일반화 능력을 어느 정도 향상시키는가?
• RQ5 제안된 방법은 실제 CT 분할 레이블을 사용하는 완전 지도 학습 기반 기준선을 능가하는가?

주요 결과

• EssNet은 CT에서 비장 분할에 대해 중앙값 Dice 유사도 계수 0.9188을 달성하였으며, 이는 두 단계 방법(0.8801)을 크게 능가한다.
• 제안된 엔드 투 엔드 접근법은 실제 CT 수동 레이블을 사용한 전형적인 다중 아틀라스 분할(0.9125)과 ResNet(0.9107)을 모두 능가하였다.
• 성능 향상은 합성과 분할의 공동 최적화가 별도의 훈련 단계보다 더 효과적임을 보여준다.
• 모델는 타겟 모달에서 어떤 수동 주석도 필요 없이 비틀림 MRI와 CT 이미지 간에 잘 일반화된다.
• 결과는 적대적 합성 학습이 원천 모달의 레이블 지식을 타겟 모달에서의 분할 향상에 효과적으로 전이시킬 수 있음을 시사한다.
• 이 프레임워크는 고비용 수동 주석에 의존도를 줄이며, 의료 영상에서 제로샷 분할의 강력한 잠재력을 보여준다.