[논문 리뷰] Medical Image Synthesis with Context-Aware Generative Adversarial Networks

Dong Nie, Roger Trullo외 3명|arXiv (Cornell University)|2016. 12. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 23

한 줄 요약

이 논문은 자동상황모델링(ACM)을 통한 맥락 인식 능력을 갖춘 3D 완전 컨volution 신경망 생성 적대 신경망(GAN)을 제안하여, MRI 스캔에서 CT 영상을 합성한다. 이는 생성 적대 학습과 영상 기울기 손실을 통해 현실감 있는 영상 품질을 확보하며, 맥락적 이해를 향상시키기 위해 AutoContext Modeling(ACM)을 활용한다. 제안된 방법은 뇌 데이터셋에서 PSNR 27.6, 골반 데이터셋에서 PSNR 34.1을 기록하여 기존 방법보다 뚜렷하게 뛰어난 성능을 달성한다.

ABSTRACT

Computed tomography (CT) is critical for various clinical applications, e.g., radiotherapy treatment planning and also PET attenuation correction. However, CT exposes radiation during acquisition, which may cause side effects to patients. Compared to CT, magnetic resonance imaging (MRI) is much safer and does not involve any radiations. Therefore, recently, researchers are greatly motivated to estimate CT image from its corresponding MR image of the same subject for the case of radiotherapy planning. In this paper, we propose a data-driven approach to address this challenging problem. Specifically, we train a fully convolutional network to generate CT given an MR image. To better model the nonlinear relationship from MRI to CT and to produce more realistic images, we propose to use the adversarial training strategy and an image gradient difference loss function. We further apply AutoContext Model to implement a context-aware generative adversarial network. Experimental results show that our method is accurate and robust for predicting CT images from MRI images, and also outperforms three state-of-the-art methods under comparison.

연구 동기 및 목표

• 자외선 방사선을 유발하지 않는 CT 영상 추정을 위해 임상적 필요를 충족시키기 위해.
• 구조적이고 텍스처적으로 다름을 보이는 MRI를 CT 영상으로 매핑하는 데 도전하는 것, 이는 뚜렷한 외관 차이를 보이기 때문이다.
• 기존의 회귀 기반 방법을 넘어서 영상 품질과 현실감을 향상시키기 위해.
• 장거리 특징 표현을 향상시키기 위해 생성 적대 신경망(GAN) 프레임워크에 맥락 인식 학습을 통합하기 위해.
• 최신 기술(SOTA) 방법과 비교해 정량적 지표(PSNR, MAE)와 정성적 현실감 모두에서 뛰어난 성능을 달성하기 위해.

제안 방법

• MRI 패치를 CT 패치로 매핑하기 위해 3D 완전 컨volution 신경망(FCN)을 생성기로 사용하여 공간적 구조와 이웃 정보를 유지한다.
• 실제 CT 영상과 합성된 출력을 구분하기 위해 판별기와 함께 생성 적대 학습을 적용하여 생성된 CT 영상의 현실감을 향상시킨다.
• 세부 사항을 보존하고 흐릿함을 줄이기 위해 영상 기울기 차이 손실을 도입하여 구조적 정밀도를 향상시킨다.
• 이전 예측에서 유도된 맥락적 특징을 통합함으로써 예측을 반복적으로 개선하는 AutoContext Modeling(ACM)을 통합하여 장거리 종속성 모델링을 향상시킨다.
• 재구성 손실(L2), 생성 적대 손실, 기울기 차이 손실을 조합한 손실 함수를 사용해 생성기를 종합적으로 학습한다.
• 뇌 및 골반 MRI-CT 쌍 데이터셋을 대상으로 평가하며, 생성 적대 학습과 ACM 반복 횟수에 대한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 생성 적대 학습과 기울기 기반 손실을 갖춘 3D GAN은 기존의 회귀 기반 방법보다 더 현실적이고 세밀한 CT 영상을 MRI에서 생성할 수 있는가?
• RQ2 AutoContext Modeling(ACM)을 통합함으로써 GAN의 성능 향상과 맥락 인식 능력은 어떻게 향상되는가?
• RQ3 실제 임상 MRI-CT 데이터셋에서 제안된 방법은 PSNR 및 MAE 측면에서 최신 기술(SOTA) 방법을 어느 정도 초월하는가?
• RQ4 생성 적대 학습과 기울기 손실의 조합은 생성된 CT 영상에서 흐릿함을 효과적으로 줄이고 해부학적 세부 사항을 보존하는가?
• RQ5 성능 향상과 학습 효율성의 균형을 고려할 때, ACM 반복 횟수의 최적값은 무엇인가?

주요 결과

• 제안된 방법은 뇌 데이터셋에서 PSNR 27.6, MAE 92.5를 기록하여, 다음으로 우수한 성능을 보인 SRF+ 방법(PSNR 26.3, MAE 99.9)을 뚜렷이 앞서 간다.
• 골반 데이터셋에서는 PSNR 34.1, MAE 39.0을 달성하여 SOTA인 SRF+ 방법(PSNR 32.1, MAE 48.1)을 능가한다.
• 시각적 비교 결과, GAN 기반 방법은 기준 방법 대비 더 적은 잡음과 더 나은 해부학적 연속성 및 매끄러움을 보였다.
• 생성 적대 학습은 흐릿함을 줄이고 현실감을 향상시키며, 정성적 분석과 판별기의 실제 CT 영상과 생성된 CT 영상 간의 구분 불가능성으로 확인되었다.
• ACM 개선은 반복 횟수에 따라 일관되게 성능 향상을 이끌었으며, 첫 두 번의 반복에서 가장 두드러진 성과를 보였고, 최종 실험에 두 번의 반복을 선택하였다.
• 분석 연구 결과, 생성 적대 손실과 기울기 차이 손실의 조합은 L2 손실만 사용한 경우보다 더 선명하고 현실적인 CT 영상을 생성함을 확인하였다.