[논문 리뷰] An Asymetric Cycle-Consistency Loss for Dealing with Many-to-One Mappings in Image Translation: A Study on Thigh MR Scans

Michael Gadermayr, Maximilian Tschuchnig외 5명|arXiv (Cornell University)|2020. 04. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 4

한 줄 요약

이 논문은 힙 MRI 스캔에서 지방 침윤된 근육을 포함한 의료 영상의 이미지 간 번역에서 다대일 매핑 문제를 해결하기 위해 비대칭 사이클 일致성 손실을 제안한다. 사이클 일치 목표를 다수의 소스 이미지가 단일 타겟으로 매핑되는 경우를 고려하도록 수정함으로써, 모델 복잡도를 증가시키지 않고도 번역 품질과 세그멘테이션 성능을 향상시킨다.

ABSTRACT

Generative adversarial networks using a cycle-consistency loss facilitate unpaired training of image-translation models and thereby exhibit a very high potential in manifold medical applications. However, the fact that images in one domain potentially map to more than one image in another domain (e.g. in case of pathological changes) exhibits a major challenge for training the networks. In this work, we offer a solution to improve the training process in case of many-to-one mappings by modifying the cycle-consistency loss. We show formally and empirically that the proposed method improves the performance significantly without radically changing the architecture and without increasing the overall complexity. We evaluate our method on thigh MRI scans with the final goal of segmenting the muscle in fat-infiltrated patients' data.

연구 동기 및 목표

• 비정상적인 스캔이 단일 정상 기준 이미지로 매핑되는 경우가 흔한 의료 영상에서 흔히 발생하는 다대일 매핑 문제를 해결하기 위해.
• 다양한 병적 이미지를 단일 정상 기준 도메인으로 매핑할 때 생성적 적대적 네트워크의 훈련 안정성과 번역 품질을 향상시키기 위해.
• 모델의 단순성과 계산 효율성을 유지하면서도 의료 영상 번역 작업의 성능을 향상시키기 위해.
• 지방 침윤 환자에서 정확한 근육 세그멘테이션을 위해 힙 MRI 스캔에서 방법을 평가하기 위해.

제안 방법

• 이 방법은 다수의 소스 도메인 이미지가 단일 타겟 도메인 이미지로 매핑되는 경우를 처리할 수 있도록 표준 사이클 일치 목표를 수정한 비대칭 사이클 일치성 손실을 도입한다.
• 대칭적인 재구성 조건을 강제하는 대신, 다대일 매핑이 발생하는 방향을 우선시하여 번역 과정에서의 모호함을 줄인다.
• 매핑의 모호성 가능성을 기반으로 사이클 일치 항목을 재가중함으로써 손실 함수를 유도하며, 더 신뢰할 수 있는 재구성 경로를 선호한다.
• 네트워크 아키텍처를 변경하거나 계산 오버헤드를 증가시키지 않고도 GAN 기반 이미지 번역 프레임워크에 이 방법을 통합한다.
• 지방 침윤된 근육 이미지를 기준 정상 상태로 번역하는 것을 목표로 하여, 비쌍체 힙 MRI 스캔에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 의료 영상에서 다대일 매핑이 존재하는 상황에서 비대칭 사이클 일치성 손실은 이미지 번역 성능을 어떻게 향상시키는가?
• RQ2 제안된 손실은 아키텍처 변경 없이도 지방 침윤 MRI 스캔에서 근육의 세그멘테이션 정확도를 향상시킬 수 있는가?
• RQ3 비대칭 손실은 병적 이미지에서 정상 이미지로의 모호한 매핑을 처리할 때 표준 대칭 사이클 일치성과 비교해 어떻게 다를까?
• RQ4 기본 GAN과 대비해 대칭 사이클 일치성과 비교했을 때, 이 방법은 훈련 안정성과 수렴 속도를 유지하는가?

주요 결과

• 제안된 비대칭 사이클 일치성 손실은 지방 침윤된 근육을 포함한 힙 MRI 스캔에서 이미지 번역 품질을 크게 향상시킨다.
• 표준 사이클 일치성 훈련과 비교해 지방 침윤 환자에서 근육 영역의 세그멘테이션 성능을 더 높게 달성한다.
• 네트워크 아키텍처를 수정하거나 계산 복잡도를 증가시키지 않음으로써 성능 향상을 달성한다.
• 실험 결과로 재구성 오차가 감소하고 모호한 매핑 상황에서 더 현실적인 번역 결과가 도출됨을 확인했다.