[논문 리뷰] Adversarial Pseudo Healthy Synthesis Needs Pathology Factorization

Tian Xia, Agisilaos Chartsias외 1명|arXiv (Cornell University)|2019. 01. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 12

한 줄 요약

이 논문은 병변 이미지를 환자별 건강한 이미지와 병변 지도로 분해함으로써 가짜 건강 이미지 합성에 대한 인과적 적대적 접근을 제안한다. 쌍화된 또는 비쌍화된 데이터로 훈련하고, 새로운 지표를 통해 신원과 건강성의 유지 조건을 강제함으로써, BraTS 및 ISLES 데이터셋에서 조건부 GAN과 CycleGAN을 능가하는 성능을 보이며, 신원 유지와 병변 분해 측면에서 최신 기술 수준의 정량적 결과를 달성한다.

ABSTRACT

Pseudo healthy synthesis, i.e. the creation of a subject-specific `healthy' image from a pathological one, could be helpful in tasks such as anomaly detection, understanding changes induced by pathology and disease or even as data augmentation. We treat this task as a factor decomposition problem: we aim to separate what appears to be healthy and where disease is (as a map). The two factors are then recombined (by a network) to reconstruct the input disease image. We train our models in an adversarial way using either paired or unpaired settings, where we pair disease images and maps (as segmentation masks) when available. We quantitatively evaluate the quality of pseudo healthy images. We show in a series of experiments, performed in ISLES and BraTS datasets, that our method is better than conditional GAN and CycleGAN, highlighting challenges in using adversarial methods in the image translation task of pseudo healthy image generation.

연구 동기 및 목표

• 의료 영상 합성 분야에서 병변 및 건강 이미지 데이터의 쌍화 부족 문제를 해결하기 위해.
• 해부학적 요소와 병변 요소를 명시적으로 분리함으로써 가짜 건강 이미지 생성 품질을 향상시키기 위해.
• 이미지-마스크 애너테이션의 쌍화 여부에 관계없이 작동하는 훈련 프레임워크를 개발하기 위해.
• 합성된 이미지의 건강성과 신원를 평가하기 위한 정량적 지표를 도입하기 위해.
• 정성적 및 정량적 기준에서 조건부 GAN과 CycleGAN에 비해 뛰어난 성능을 입증하기 위해.

제안 방법

• 이 방법은 병변 이미지를 두 가지 요소로 분해한다: GAN 기반 합성기로 생성된 가짜 건강 이미지와 세그먼터가 예측한 이진 병변 지도.
• 재구성 네트워크는 가짜 건강 이미지와 병변 지도를 조합하여 원래의 병변 이미지를 재구성함으로써 사이클 일致성 조건을 강제한다.
• 쌍화 설정에서는 세그먼터를 진짜 병변 마스크를 사용해 훈련하고, 비쌍화 설정에서는 수정된 사이클 일치 손실을 통해 건강한 이미지에서 건강한 이미지로의 변환을 통해 신원을 강제한다.
• 이 프레임워크는 적대적 훈련을 통해 현실적인 이미지 합성을 보장하고, 사이클 일치 손실을 통해 신원 유지 조건을 강화한다.
• 훈련과 평가를 이끄는 데 사용하기 위해 신원과 건강성 지표를 손실 항목으로 통합한다.
• 적대적 손실, 사이클 일치 손실, 재구성 손실의 조합을 사용해 전체 아키텍처를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 건강한 해부학적 요소와 병변 위치를 명시적으로 분리함으로써 병변 이미지 합성 성능을 향상시킬 수 있는가?
• RQ2 기본적인 GAN과 비교했을 때, 분해 기반 접근이 가짜 건강 이미지 생성 품질에 어떤 영향을 미치는가?
• RQ3 이미지-마스크 쌍화 애너테이션 없이도 강력한 가짜 건강 이미지 합성 방법을 훈련시킬 수 있는가?
• RQ4 건강성과 신원에 대한 새로운 정량적 지표가 시각적 품질과 후속 작업 성능과 얼마나 관련이 있는가?
• RQ5 기본적인 GAN과 CycleGAN이 병변 스캔에서 환자별 건강한 이미지를 생성할 때 어떤 한계를 지닌다?

주요 결과

• 쌍화 훈련을 적용한 본 방법은 BraTS 데이터셋에서 가장 높은 신원 점수(0.88 ± 0.03)와 건강성 점수(0.99 ± 0.02)를 기록했으며, p < 0.05 조건에서 조건부 GAN과 CycleGAN을 유의미하게 뛰어넘었다.
• 비쌍화 설정에서도 본 방법은 ISLES에서 건강성 점수 0.94 ± 0.11, BraTS에서 0.98 ± 0.07을 기록했으며, 모두 기준 모델보다 유의미하게 높았다.
• 쌍화 설정에서 본 방법은 ISLES에서 98%의 건강성 점수(0.98 ± 0.04)를 기록했으며, CycleGAN(0.85 ± 0.11)과 조건부 GAN(0.86 ± 0.13)을 모두 능가했다.
• 본 방법은 병변을 정확히 국소화하면서도 해부학적 신원를 유지하는 환자별 가짜 건강 이미지를 생성하는 데 있어 뛰어난 시각적 품질을 보였다.
• 제안된 신원 및 건강성 지표는 정성적 차이를 효과적으로 포착했으며, 인지적 이미지 품질과 재구성 정확도와도 상관관계를 보였다.
• 절단 분석 결과 병변 분해가 정보 손실을 방지하고 정확한 재구성을 가능하게 하므로 필수적임을 입증했으며, 가짜 건강 합성에서의 one-to-many 과제를 부각시켰다.