[논문 리뷰] Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation to Disease Detection and Localization

Md Mahfuzur Rahman Siddiquee, Zongwei Zhou외 5명|arXiv (Cornell University)|2019. 08. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 10

한 줄 요약

이 논문은 가상의 치유 기능을 가능하게 하는 고정점 GAN(Fixed-Point GAN)을 소개한다. 이는 번역 과정에서 건강하거나 정상적인 영상 콘텐츠를 유지하도록 학습하는 새로운 생성적 적대적 네트워크이다. 조건부 신원 손실을 통해 신원 유지 조건을 강제로 적용하고, 적대적 손실, 도메인 분류 손실, 사이클 일致성 손실을 통해 교차 도메인 번역을 정규화함으로써, 이미지 간 번역 및 이미지 수준의 애너테이션만을 사용하는 약한 감독 하의 질병 탐지 및 국소화에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Generative adversarial networks (GANs) have ushered in a revolution in image-to-image translation. The development and proliferation of GANs raises an interesting question: can we train a GAN to remove an object, if present, from an image while otherwise preserving the image? Specifically, can a GAN "virtually heal" anyone by turning his medical image, with an unknown health status (diseased or healthy), into a healthy one, so that diseased regions could be revealed by subtracting those two images? Such a task requires a GAN to identify a minimal subset of target pixels for domain translation, an ability that we call fixed-point translation, which no GAN is equipped with yet. Therefore, we propose a new GAN, called Fixed-Point GAN, trained by (1) supervising same-domain translation through a conditional identity loss, and (2) regularizing cross-domain translation through revised adversarial, domain classification, and cycle consistency loss. Based on fixed-point translation, we further derive a novel framework for disease detection and localization using only image-level annotation. Qualitative and quantitative evaluations demonstrate that the proposed method outperforms the state of the art in multi-domain image-to-image translation and that it surpasses predominant weakly-supervised localization methods in both disease detection and localization. Implementation is available at https://github.com/jlianglab/Fixed-Point-GAN.

연구 동기 및 목표

• 특정 객체(예: 안경, 병변)를 제거하면서도 나머지 모든 영상 콘텐츠를 유지하는 데에 GAN을 훈련하는 데 도전한다.
• 기존 GAN의 동일 도메인 번역에서 정상 영상가 흔히 손상되거나 손상되는 한계를 극복한다.
• 픽셀 수준의 바운딩 박스나 세그멘테이션 마스크가 아닌 이미지 수준의 애너테이션만을 사용하여 질병 탐지 및 국소화를 가능하게 한다.
• 특정 도메인 쌍에 맞춰 전용 생성자 없이도 다수의 도메인으로 일반화 가능한 확장 가능한, 소스 도메인에 의존하지 않는 이미지 간 번역 프레임워크를 개발한다.
• 관련 영역에만 영향을 주는 최소한의, 특성에 특화된 이미지 변환을 달성하여 머리카락, 피부 톤, 배경 등 관련 없는 특성들을 유지한다.

제안 방법

• 동일 도메인 번역을 감독하기 위해 조건부 신원 손실을 도입하여, 정상 또는 정상적인 영상이 번역 과정에서 변경되지 않도록 보장한다.
• 구조적이고 의미적인 정합성을 유지하기 위해 개선된 적대적 손실, 도메인 분류 손실, 사이클 일치성 손실을 사용하여 교차 도메인 번역을 정규화한다.
• 특정 도메인 쌍에 맞춰 전용 생성자를 필요로 하지 않고도 다중 도메인 번역을 수행할 수 있도록 단일 생성자를 훈련시켜 확장성을 향상시킨다.
• 정상 영상의 출력이 입력과 동일한 고정점 성질을 활용하여, 원본 영상과 번역된 영상 간의 차이를 통해 병변 영역을 노출한다.
• 원본 영상과 번역된 영상 간의 차이 맵을 약한 감독 하의 국소화 맵으로 사용하여, 바운딩 박스 애너테이션이 없이도 병변 영역을 식별한다.
• 모든 입력(병변이 있거나 정상인 경우)을 정상 도메인으로 번역함으로써 뇌 병변 및 폐색전증 탐지와 같은 의료 영상 작업에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 GAN을 훈련시켜 특정 객체를 제거하면서도 정상 영상 콘텐츠를 유지하는 최소한의, 특성에 특화된 이미지 변환을 수행할 수 있는가?
• RQ2 특정 도메인 쌍에 맞춰 전용 생성자가 필요 없이 단일 GAN 모델이 여러 도메인으로 일반화될 수 있는가?
• RQ3 고정점 번역 학습을 통해 이미지 수준의 애너테이션만으로 정확한 질병 탐지 및 국소화가 가능할 수 있는가?
• RQ4 동일 도메인 번역에서 신원 유지 조건을 강제로 적용함으로써 의료 영상 번역 및 이상 국소화 성능이 어떻게 향상되는가?
• RQ5 원본 영상과 번역된 영상 간의 차이 맵이 픽셀 수준의 감독 없이도 질병에 대한 정밀한 국소화 맵으로서 얼마나 정확하게 기능할 수 있는가?

주요 결과

• Fixed-Point GAN은 이미지 수준의 폐색전증 탐지에서 AUC 0.9668을 달성하여 StarGAN(0.8832)과 ResNet-50(0.8879)을 크게 앞서며 성능을 뛰어넘었다.
• 병변 수준의 국소화에서 Fixed-Point GAN은 1 볼륨당 1개의 가짜 경고(false positive)를 유지할 때 97.2%의 민감도를 기록하여, 동일한 가짜 경고 비율에서 StarGAN(88.9%)과 ResNet-50(80.6%)를 뛰어넘었다.
• 정성 분석 결과, Fixed-Point GAN은 StarGAN이 가짜 요소(예: 수염, 피부 톤 변화, 배경 변화)를 유발하는 것과 달리, 동일 도메인 및 교차 도메인 번역 과정에서 더 적은 아티팩트를 생성함을 확인했다.
• 차이 맵과 오버랩된 국소화 결과를 통해, CAM 및 f-AnoGAN보다 더 높은 정밀도로 안경과 병변 병변 모두를 성공적으로 국소화했다.
• Fixed-Point GAN은 동일 도메인 번역에서 높은 정밀도를 유지하여, 원본 영상와 번역된 정상 영상 간의 차이가 최소한이었으며, 효과적인 고정점 학습이 이루어졌음을 확인했다.
• 이 프레임워크는 바운딩 박스나 세그멘테이션 애너테이션이 없이도 정확히 병변 영역을 강조하는 차이 맵을 생성함으로써 약한 감독 하의 국소화를 가능하게 했다.