[논문 리뷰] Breaking the Dilemma of Medical Image-to-image Translation

Lingke Kong, Chenyu Lian외 4명|arXiv (Cornell University)|2021. 10. 13.

Radiomics and Machine Learning in Medical Imaging참고 문헌 24인용 수 74

한 줄 요약

RegGAN은 의학 영상 번역에서 목표가 맞지 않게 정렬된 경우를 다루기 위해 등록 네트워크를 포함한 손실 보정 프레임워크를 도입하여 Pix2Pix와 Cycle-consistency를 정렬된, 부정렬된, 비페어 데이터에 걸쳐 능가합니다.

ABSTRACT

Supervised Pix2Pix and unsupervised Cycle-consistency are two modes that dominate the field of medical image-to-image translation. However, neither modes are ideal. The Pix2Pix mode has excellent performance. But it requires paired and well pixel-wise aligned images, which may not always be achievable due to respiratory motion or anatomy change between times that paired images are acquired. The Cycle-consistency mode is less stringent with training data and works well on unpaired or misaligned images. But its performance may not be optimal. In order to break the dilemma of the existing modes, we propose a new unsupervised mode called RegGAN for medical image-to-image translation. It is based on the theory of "loss-correction". In RegGAN, the misaligned target images are considered as noisy labels and the generator is trained with an additional registration network to fit the misaligned noise distribution adaptively. The goal is to search for the common optimal solution to both image-to-image translation and registration tasks. We incorporated RegGAN into a few state-of-the-art image-to-image translation methods and demonstrated that RegGAN could be easily combined with these methods to improve their performances. Such as a simple CycleGAN in our mode surpasses latest NICEGAN even though using less network parameters. Based on our results, RegGAN outperformed both Pix2Pix on aligned data and Cycle-consistency on misaligned or unpaired data. RegGAN is insensitive to noises which makes it a better choice for a wide range of scenarios, especially for medical image-to-image translation tasks in which well pixel-wise aligned data are not available

연구 동기 및 목표

• Pix2Pix와 Cycle-consistency를 넘어선 의학 영상의 부정렬되거나 페어가 없는 이미지를 처리하는 이미지-대-이미지 번역 모드의 필요성을 촉진합니다.
• RegGAN을 제시하여 생성기와 등록 네트워크를 함께 학습시켜 변형 잡음을 적응적으로 모델링하는 손실 보정 프레임워크로 제안합니다.
• RegGAN이 기존 번역 모델과 통합되어 더 적은 매개변수로 성능을 향상시킬 수 있음을 보여줍니다.
• 맞춰진(aligned), 부정렬된(misaligned), 비페어(unpaired) 조건에서 공용 의학 영상 데이터셋에 대해 RegGAN을 평가하고 다양한 노이즈 수준에서 평가합니다.

제안 방법

• 목표 이미지가 맞지 않게 정렬되었을 때 라벨이 있는 지도학습으로 이미지-대-이미지 번역을 형식화합니다.
• 생성기 G 뒤에 등록 네트워크 R을 도입하여 라벨 노이즈를 보정하는 변형 필드를 학습합니다.
• 잘못 정렬된 타깃과 왜곡된 생성기 출력을 차이로 최소화하고 변형 필드에 대한 매끄러움 손실을 추가하는 보정 손실을 정의합니다.
• Corr loss, Smooth loss, and adversarial loss를 결합하여 G, R, D의 공동 최적화를 위한 총 손실로 구성합니다.
• 변형 잡음을 노이즈 모델로 취급하고 손실 보정을 사용하여 노이즈가 있는 라벨을 실제 타깃 분포와 정렬합니다.

실험 결과

연구 질문

• RQ1 RegGAN이 타깃 이미지가 부정렬되거나 페어가 없는 경우에도 Pix2Pix와 Cycle-consistency에 비해 경쟁력 있거나 우수한 번역 품질을 달성할 수 있는가?
• RQ2 등록 네트워크를 도입하여 변형 잡음을 모델링하면 의학 영상 번역에서 부정렬 및 다양한 잡음 수준에 대한 강인성 향상에 기여하는가?
• RQ3 RegGAN이 기존의 이미지-대-이미지 번역 아키텍처와 효과적으로 통합되어 더 적은 매개변수로 성능을 향상시키는가?
• RQ4 다양한 데이터셋과 방법에서 정렬 데이터와 부정렬/비페어 데이터 간의 RegGAN 성능 차이는 어떠한가?

주요 결과

• RegGAN은 타깃이 부정렬되거나 비페어인 경우에도 평가된 방법들에서 번역 성능을 지속적으로 향상시킵니다.
• 등록 네트워크(+R) 도입은 지표 및 방법 전반에서 상당한 성능 향상을 가져오며 종종 Cycle-consistency 기준선을 능가합니다.
• NC+R 구성(비-cycle-consistency 플러스 등록)은 C+R 구성보다 자주 더 우수하여 순환 일관성이 RegGAN과 결합될 때 성능을 저해할 수 있음을 시사합니다.
• RegGAN은 증가하는 노이즈 수준과 비선형(non-affine) 잡음에도 강건하게 유지되며 Pix2Pix 및 CycleGAN 기준선보다 우수한 지표를 유지합니다.
• 비페어 데이터에서 RegGAN은 Pix2Pix 및 CycleGAN보다 우수한 성능을 보이지만 페어 데이터에 비해 득실이 더 완화됩니다.
• 이 접근법은 다양한 아키텍처(CycleGAN, MUNIT, UNIT, NICEGAN)과 통합될 수 있으며 매개변수를 줄이면서 더 좋거나 비슷한 결과를 달성합니다.