[논문 리뷰] Cross-modality image synthesis from unpaired data using CycleGAN: Effects of gradient consistency loss and training data size

Yuta Hiasa, Yoshito Otake외 6명|arXiv (Cornell University)|2018. 03. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 21

한 줄 요약

이 논문은 대퇴부 및 골반 부위의 MRI에서 CT 영상으로의 변환을 위해, 302개의 MRI 및 613개의 CT 영상으로 구성된 대규모 비일치 데이터셋을 사용하여 경계 정확도 향상을 위한 기울기 일致성(GC) 손실을 통합한 개선된 CycleGAN 프레임워크를 제안한다. GC 손실은 경계 정확도를 향상시키며, 결과적으로 더 큰 학습 데이터와 GC 손실이 모두 영상 합성 정확도와 후속 분할 성능을 크게 향상시킨다. 합성 영상에서 골반의 평균 DICE는 0.808 ± 0.036, 대퇴부는 0.883 ± 0.029를 기록한다.

ABSTRACT

CT is commonly used in orthopedic procedures. MRI is used along with CT to identify muscle structures and diagnose osteonecrosis due to its superior soft tissue contrast. However, MRI has poor contrast for bone structures. Clearly, it would be helpful if a corresponding CT were available, as bone boundaries are more clearly seen and CT has standardized (i.e., Hounsfield) units. Therefore, we aim at MR-to-CT synthesis. The CycleGAN was successfully applied to unpaired CT and MR images of the head, these images do not have as much variation of intensity pairs as do images in the pelvic region due to the presence of joints and muscles. In this paper, we extended the CycleGAN approach by adding the gradient consistency loss to improve the accuracy at the boundaries. We conducted two experiments. To evaluate image synthesis, we investigated dependency of image synthesis accuracy on 1) the number of training data and 2) the gradient consistency loss. To demonstrate the applicability of our method, we also investigated a segmentation accuracy on synthesized images.

연구 동기 및 목표

• 해부학적 변동성과 강도 일관성 부족으로 이전 방법이 어려운 대퇴부 영역에서 MRI 스캔으로부터 정확한 CT 영상을 생성하는 데 도전한다.
• CycleGAN 프레임워크에 기울기 일치성 손실을 도입하여 이종 모odal 간 영상 합성에서 경계 보존을 향상시킨다.
• 학습 데이터 크기와 GC 손실이 근골격계 영상에서의 영상 합성 정확도 및 분할 성능에 미치는 영향을 평가한다.
• 비라벨링된 MRI 데이터로부터 합성된 CT 영상을 이용한 모odal 독립적 분할의 가능성을 입증한다.

제안 방법

• 실제 영상과 합성 영상 간의 구조적 일치를 강제하기 위해, 특히 조직 경계에서 기울기 일치성(GC) 손실을 통합한 확장된 CycleGAN을 사용한다.
• 사이클 일관성과 적대적 손실을 사용하여, 생성자 $G_{CT}$ 및 $G_{MR}$를 이용해 MRI 및 CT 영상 간의 영상 변환을 학습한다.
• 모든 MRI 영상에 대해 N4ITK 강도 비균일성 보정을 적용하여 강도 비균일성을 감소시킨다.
• 이중 채널 입력(MRI 및 합성 CT)을 사용하는 2D U-Net 분할 네트워크를 도입하여 합성 데이터에서 동시 분할을 수행한다.
• 학습 데이터 크기(20~613개의 CT 및 302개의 MRI 영상)와 GC 손실의 포함/제거 여부를 변화시켜 탈락 연구를 수행한다.
• 상호정보 및 시각적 검토를 통한 영상 합성 평가와, 짝지어진 진짜값을 기반으로 한 DICE 계수를 통한 분할 성능 평가를 실시한다.

실험 결과

연구 질문

• RQ1 비일치 학습 데이터의 수를 늘릴 경우, CycleGAN를 사용한 MRI에서 CT 영상으로의 변환 품질에 어떤 영향을 미치는가?
• RQ2 기울기 일치성 손실을 도입함으로써 MRI 입력에서 합성된 CT 영상의 경계 정확도가 향상되는가?
• RQ3 합성된 CT 영상을 보조 입력으로 사용할 경우, MRI 영상의 분할 성능이 유의미하게 향상되는가?
• RQ4 대규모 데이터와 GC 손실의 조합이 기준 CycleGAN에 비해 분할 정확도 및 영상 정밀도 측면에서 어떻게 비교되는가?

주요 결과

• 더 큰 학습 데이터 크기(302개의 MRI 및 613개의 CT 영상)는 상호정보 측정 기준으로 더 작은 데이터셋에 비해 영상 합성 정확도가 유의미하게 향상됨을 보여주었다.
• 기울기 일치성 손실의 도입은 특히 대퇴부 머리 및 내측근군 주변에서 합성된 CT 영상의 경계가 더 선명해졌음을 시각적 검토로 확인하였다.
• 더 큰 학습 데이터와 GC 손실을 모두 적용할 경우, 합성 영상에서의 분할 정확도가 향상되었으며, 골반의 평균 DICE는 0.808 ± 0.036, 대퇴부는 0.883 ± 0.029를 기록하였다.
• GC 손실은 특히 경추근의 분할 성능을 유의미하게 향상시켰으며(p < 0.01), 대규모 데이터와 GC 손실을 병행할 경우 DICE는 0.669 ± 0.054를 기록하였다.
• 합성된 CT 영상을 활용한 모달리티 독립적 분할 접근법은 단일 모달리티 MRI 분할에 비해 유사하거나 더 우수한 성능을 보였으며, 5겹 교차검증에서 골반의 DICE는 0.815 ± 0.046, 대퇴부는 0.921 ± 0.023를 기록하였다.