[논문 리뷰] Unpaired Brain MR-to-CT Synthesis using a Structure-Constrained CycleGAN

Heran Yang, Jian Sun외 5명|arXiv (Cornell University)|2018. 09. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 15

한 줄 요약

이 논문은 모달리티에 의존하지 않는 근접성 기술자(MIND) 기반 손실을 사용하여 입력 MR와 생성된 CT 이미지 간의 구조적 일致성을 강제하는 구조 제약이 가해진 cycleGAN을 제안한다. 이 손실을 적대적 및 사이클 일致성 학습과 통합하고, 위치 기반 이미지 선택 전략을 적용함으로써, 전통적인 cycleGAN을 능가하는 성능을 달성하며, 특히 천골과 같은 해부학적 구조를 잘 유지하는 데서 쌍체 데이터로 학습된 cycleGAN에 근접한 품질을 달성한다.

ABSTRACT

The cycleGAN is becoming an influential method in medical image synthesis. However, due to a lack of direct constraints between input and synthetic images, the cycleGAN cannot guarantee structural consistency between these two images, and such consistency is of extreme importance in medical imaging. To overcome this, we propose a structure-constrained cycleGAN for brain MR-to-CT synthesis using unpaired data that defines an extra structure-consistency loss based on the modality independent neighborhood descriptor to constrain structural consistency. Additionally, we use a position-based selection strategy for selecting training images instead of a completely random selection scheme. Experimental results on synthesizing CT images from brain MR images demonstrate that our method is better than the conventional cycleGAN and approximates the cycleGAN trained with paired data.

연구 동기 및 목표

• 쌍체가 아닌 MR-to-CT 합성에서 입력 MR와 합성된 CT 이미지 간의 구조적 일致성 부족 문제를 해결하기 위해.
• 지상 진단 세그멘테이션에 의존하지 않으면서도 합성 CT 이미지에서 해부학적 구조의 유지 보존을 강제하기 위해.
• MIND 특징 기반의 구조 일치 손실을 도입하여 쌍체가 아닌 데이터에서의 cycleGAN 성능을 향상시키기 위해.
• 위치 기반 이미지 선택 전략을 통해 학습 안정성과 생성자 품질을 향상시키기 위해.
• 쌍체 학습 데이터가 필요 없이도 쌍체 cycleGAN에 근접한 성능을 달성하기 위해.

제안 방법

• 입력 MR와 생성된 CT 이미지 간의 병렬 볼륨 특징 유사성을 강제하기 위해 모달리티에 의존하지 않는 근접성 기술자(MIND) 기반의 구조 일치 손실을 도입한다.
• 두 개의 생성자(MR-to-CT 및 CT-to-MR)와 두 개의 판별자(CT 및 MR 도메인용)를 갖는 수정된 cycleGAN 프레임워크를 사용한다.
• 세 가지 손실 구성 요소를 조합한다: 분포 일치를 위한 적대적 손실, 사이클 재구성에 대한 사이클 일치 손실, 그리고 제안된 MIND 기반의 구조 일치 손실.
• 각 볼륨의 중심에서 ±5 슬라이스 이내의 슬라이스를 선택하는 위치 기반 선택 전략을 적용하여 학습 안정성과 생성자 품질을 향상시킨다.
• 모든 생성자에 대해 잔차 U-Net 아키텍처와 고해상도 이미지의 현실감을 확보하기 위한 PatchGAN 판별자를 사용한다.
• 고정된 초기 학습률 0.0002를 사용하여 Adam 최적화기로 총 손실 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 MIND 특징 기반의 구조 일치 손실이 쌍체가 아닌 MR-to-CT 합성에서 해부학적 정확도를 향상시키는가?
• RQ2 위치 기반 이미지 선택 전략이 cycleGAN 학습에서 생성자 성능 향상과 모드 붕괴 감소에 기여하는가?
• RQ3 기본적인 cycleGAN 및 쌍체 데이터로 학습된 cycleGAN과 비교할 때, 제안된 방법은 구조 유사성과 이미지 품질 측면에서 어떻게 성능을 내는가?
• RQ4 지상 진단 세그멘테이션 또는 쌍체 데이터가 필요 없이도 이 방법이 쌍체 성능에 근접한 성능을 달성할 수 있는가?
• RQ5 구조 일치 손실이 합성 CT 이미지의 뼈 및 천골 영역 재구성에 얼마나 기여하는가?

주요 결과

• 모든 지표(MAE, PSNR, SSIM, SSIM(HG))에서 기존 cycleGAN보다 유의미하게 뛰어난 성능을 보이며, 대응 t-검정에서 p < 0.001을 기록한다.
• 제안된 방법은 쌍체 데이터로 학습된 cycleGAN과 유사한 SSIM(HG) 점수를 달성하여 천골과 같은 고기울기 영역의 강력한 유지 보존을 시사한다.
• 위치 기반 선택 전략은 무작위 샘플링 대비 통계적으로 유의미한 수준(p < 0.001)으로 SSIM(HG)를 향상시키며, 다른 지표에도 약간의 향상 효과가 있다.
• 시각적 결과는 제안된 방법이 기존 cycleGAN보다 더 적은 구조적 잡음과 더 나은 입력 MR 해부학적 정렬을 가진 합성 CT 이미지를 생성함을 보여준다.
• 이 방법은 현실감과 해부학적 일치성의 균형을 잘 유지하며, 특히 천골과 같은 중요한 영역에서의 이질성 감소에 효과적인 구조 일치 손실이 작용한다.
• 모델은 검증용 15명의 새로운 환자에 대해 잘 일반화되어 있으며, 일관된 성능을 유지한다.