[논문 리뷰] Deep CT to MR Synthesis using Paired and Unpaired Data

Cheng‐Bin Jin, Hakil Kim외 7명|arXiv (Cornell University)|2018. 05. 28.

Radiomics and Machine Learning in Medical Imaging참고 문헌 21인용 수 10

한 줄 요약

이 논문은 쌍체 데이터와 비쌍체 데이터를 동시에 활용하여 뇌 CT 영상에서 고해상도 MRI 영상을 합성하는 새로운 MR-GAN 프레임워크를 제안한다. 적대적 손실, 쌍체 및 비쌍체 데이터 간 이중 사이클 일致성 손실, 병렬 볼륨 단위 손실을 통합함으로써, 평균 절대 오차(MAE) 19.36 ± 2.73과 피크 신호 대 노이즈 비율(PSNR) 65.35 ± 0.86을 기록하며, 정성적 및 정량적 평가에서 기존 방법을 크게 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

MR imaging will play a very important role in radiotherapy treatment planning for segmentation of tumor volumes and organs. However, the use of MR-based radiotherapy is limited because of the high cost and the increased use of metal implants such as cardiac pacemakers and artificial joints in aging society. To improve the accuracy of CT-based radiotherapy planning, we propose a synthetic approach that translates a CT image into an MR image using paired and unpaired training data. In contrast to the current synthetic methods for medical images, which depend on sparse pairwise-aligned data or plentiful unpaired data, the proposed approach alleviates the rigid registration challenge of paired training and overcomes the context-misalignment problem of the unpaired training. A generative adversarial network was trained to transform 2D brain CT image slices into 2D brain MR image slices, combining adversarial loss, dual cycle-consistent loss, and voxel-wise loss. The experiments were analyzed using CT and MR images of 202 patients. Qualitative and quantitative comparisons against independent paired training and unpaired training methods demonstrate the superiority of our approach.

연구 동기 및 목표

• 소프트 텍스처 대trast 및 종양 세그멘테이션의 한계를 보완하기 위해 CT 영상에서 MRI 유사 영상을 합성함으로써 CT 기반 방사선 치료 계획의 한계를 해소하고자 한다.
• 비쌍체 학습에서의 맥락 불일치와 쌍체 학습에서의 흐림 현상을 통합된 프레임워크로 해결하고자 한다.
• 적대적 손실, 사이클 일치성 손실, 볼륨 단위 손실을 통합하여 종합적인 학습 목표를 설정함으로써 영상 합성 품질을 향상시키고자 한다.
• 메탈 삽입물이 있는 환자나 MRI 스캔이 불가능한 자원이 제한된 환경에서의 실용적 적용을 가능하게 하고자 한다.
• MR-CT 및 CT-PET 합성과 같은 다른 의료 영상 합성 과제로도 이 프레임워크를 확장하고자 한다.

제안 방법

• MR-GAN 프레임워크는 실제 영상과 합성 영상 간을 구분할 수 있도록 훈련된 디스criminator를 갖춘 생성 적대적 네트워크를 사용한다.
• 쌍체 및 비쌍체 데이터에 대해 전진 및 역방향으로 네 개의 사이클을 통해 이중 사이클 일치성 손실을 강제 적용하여 구조적 일관성을 확보한다.
• 모델은 현실성 향상을 위한 적대적 손실, 도메인 번역 정확도를 위한 사이클 일치성 손실, 쌍체 데이터를 활용한 픽셀 수준 정확도 향상을 위한 볼륨 단위 손실을 통합한다.
• 생성자와 디스criminator 네트워크는 함께 훈련되며, 생성자는 실제 MRI 영상과 구별할 수 없는 영상을 생성하는 것을 목표로 한다.
• 특징 학습 향상과 과적합 방지를 위해 디스criminator에 공유, 추가 헤드 및 추가 尾 네트워크를 통합한다.
• 제한된 쌍체 데이터와 풍부한 비쌍체 데이터를 동시에 사용하여 엔드 투 엔드 훈련을 지원함으로써 일반화 능력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 쌍체 및 비쌍체 데이터를 동시에 활용하여 딥 생성 모델이 CT 영상에서 현실적인 MRI 영상을 효과적으로 합성할 수 있는가?
• RQ2 적대적 손실, 사이클 일치성 손실, 볼륨 단위 손실을 통합함으로써 개별 손실을 사용하는 것보다 합성 품질이 어떻게 향상되는가?
• RQ3 이중 사이클 일치 학습 메커니즘이 비쌍체 데이터 번역에서 해부학적 불일치를 줄이고 구조적 정확도를 향상시키는가?
• RQ4 쌍체 데이터의 포함이 합성된 MRI 영상에서 흐림 현상을 어떻게 완화하고 픽셀 수준 정확도를 향상시키는가?
• RQ5 제안된 프레임워크는 MR-CT 또는 CT-PET 번역과 같은 다른 의료 영상 합성 과제로 일반화될 수 있는가?

주요 결과

• 제안된 MR-GAN은 비교된 모든 방법 중에서 가장 낮은 평균 절대 오차(MAE) 19.36 ± 2.73를 기록하여 높은 픽셀 수준 정확도를 입증하였다.
• 모델은 가장 높은 피크 신호 대 노이즈 비율(PSNR) 65.35 ± 0.86을 기록하여 뛰어난 영상 품질과 정확도를 보였다.
• 기본 방법 대비 합성된 MRI 영상은 훨씬 덜 흐릿하고, 특히 연조직, 혈관 및 회전지에서 더 뛰어난 해부학적 세부 정보를 보였다.
• 이중 사이클 일치성 손실은 비쌍체 데이터에서 맥락 불일치를 효과적으로 감소시켜 구조적 일관성을 향상시켰다.
• 음의 로그 우도 손실을 사용한 디스criminator가 최소 제곱 손실 대비 MAE 및 PSNR 측면에서 더 우수한 성능을 보여, 최적화 안정성이 뛰어나다는 것을 확인하였다.
• 합성된 MRI 출력에서 재구성된 CT 영상이 원본 CT 입력과 매우 유사했으며, 해부학적 구조 보존을 위한 사이클 일치성의 효과를 확인하였다.