[논문 리뷰] An Adversarial Learning Approach to Medical Image Synthesis for Lesion Detection

Liyan Sun, Jiexiang Wang외 4명|arXiv (Cornell University)|2018. 10. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 16

한 줄 요약

이 논문은 쌍체 훈련 데이터가 필요 없이 병변을 포함하는 의료 영상에서 정상적인 영상으로의 변환을 가능하게 하는 조건부 생성 적대적 신경망인 ANT-GAN을 제안한다. 사이클 일관성과 이상 마스크 정규화를 활용하여, 병변 세분화 및 분류 성능을 향상시키는 동시에 합성 병변 영상 생성을 통한 데이터 증강도 가능하게 하는 현실적인 건강한 영상 생성 모델이다.

ABSTRACT

The identification of lesion within medical image data is necessary for diagnosis, treatment and prognosis. Segmentation and classification approaches are mainly based on supervised learning with well-paired image-level or voxel-level labels. However, labeling the lesion in medical images is laborious requiring highly specialized knowledge. We propose a medical image synthesis model named abnormal-to-normal translation generative adversarial network (ANT-GAN) to generate a normal-looking medical image based on its abnormal-looking counterpart without the need for paired training data. Unlike typical GANs, whose aim is to generate realistic samples with variations, our more restrictive model aims at producing a normal-looking image corresponding to one containing lesions, and thus requires a special design. Being able to provide a "normal" counterpart to a medical image can provide useful side information for medical imaging tasks like lesion segmentation or classification validated by our experiments. In the other aspect, the ANT-GAN model is also capable of producing highly realistic lesion-containing image corresponding to the healthy one, which shows the potential in data augmentation verified in our experiments.

연구 동기 및 목표

• 병변 탐지에 특화된 레이블이 부족한 의료 영상 데이터 문제를 해결하기 위해, 병변을 수동으로 표기하는 데 시간이 오래 걸리고 전문 지식이 필요하다는 점을 다루는 것.
• 쌍체 훈련 데이터에 의존하지 않고 병변이 있는 스캔에서 현실적인 병변 없는 의료 영상 생성 방법을 개발하는 것.
• 보조 정보로 '정상' 영상 제공을 통해 병변 세분화 및 분류와 같은 의료 영상 분석 작업의 성능을 향상시키는 것.
• 모델이 정상 입력에서도 현실적인 병변을 포함한 영상을 생성할 수 있는 이중 기능을 탐색하여, 데이터가 적은 상황에서의 데이터 증강을 지원하는 것.

제안 방법

• 병변 영상에서 정상 영상으로의 변환을 위한 조건부 생성기 포함 GAN(ANT-GAN)을 제안한다.
• 손실 함수에 이진 이상 마스크 항목을 도입하여 병변 영역 수정을 명시적으로 안내하면서도 건강한 영역는 유지한다.
• 역방향 정상-병변 생성기 훈련을 통해 사이클 일관성을 강제하여 훈련 안정성과 특징 학습 성능을 향상시킨다.
• 진짜 정상 영상과 생성된 정상 영상 간의 구분을 위해 판별기(discriminator)를 사용하여 출력의 현실성 확보.
• 쌍체 진짜/정상 영상이 필요 없이 생성 적대적 손실, 사이클 일관성 손실, 이상 마스크 정규화를 종합적으로 사용하여 모델을 종합적으로 훈련한다.
• 훈련된 모델을 활용해 의사정상 및 의사병변 영상을 모두 생성하여 후속 작업에 대한 데이터 증강을 가능하게 한다.

실험 결과

연구 질문

• RQ1 쌍체 훈련 데이터 없이 GAN 기반 모델이 병변이 있는 스캔에서 현실적인 병변 없는 의료 영상 생성이 가능한가?
• RQ2 제안된 이상 마스크 정규화가 병변 영역 수정과 함께 건강한 조직 유지에 얼마나 효과적인가?
• RQ3 생성된 정상 영상이 병변 세분화 및 분류 성능 향상에 어느 정도 기여하는가?
• RQ4 훈련된 모델이 정상 입력에서 현실적인 병변을 포함한 영상을 생성할 수 있으며, 이는 데이터 증강에 어떻게 기여하는가?
• RQ5 ANT-GAN 모델은 다양한 영상 모odalities(MRI 및 CT)와 해부학적 영역(뇌 및 간)에서 어떻게 성능을 발휘하는가?

주요 결과

• ANT-GAN은 병변이 있는 MRI 스캔에서 매우 현실적인 정상 영상으로의 변환을 성공적으로 수행하였으며, 입력과 출력 간의 차이 지ap(차이 지도)에서 병변 영역가 뚜렷하게 강조되었다.
• 정상 입력 영상에 적용했을 때 생성기의 출력은 입력과 거의 동일하여 병변을 잘못 생성하지 않는다는 점을 확인하였다.
• BratS18 데이터셋에서, 50개의 합성 정상 영상과 50개의 합성 병변 영상을 포함한 증강 데이터로 분류기 훈련 시 F1-스코어가 64.4%에서 77.6%로 12.2% 향상되었다.
• 모델은 영상 모달리티 간 일반화 성능이 뛰어나 뇌 MRI(T1, T1ce, T2)와 간 CT 스캔 모두에서 타당한 결과를 생성하였지만, CT에서는 병변 대비 대비가 낮아 약간 더 큰 변형이 발생하였다.
• 이상 마스크 파라미터 λ_AM = 10이 병변 수정과 건강한 조직 유지 간 최적의 균형을 이룬 것으로 확인되었다.
• 훈련된 N2A 생성기는 병변이 해부학적으로 타당한 영역에 국한되어 위치한 현실적인 병변을 포함한 영상을 성공적으로 합성하였으며, 이는 모델의 데이터 증강 잠재력이 있음을 시사한다.