[논문 리뷰] Harmonic Unpaired Image-to-image Translation

Rui Zhang, Tomas Pfister외 1명|arXiv (Cornell University)|2019. 02. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 30

한 줄 요약

이 논문은 샘플 그래프 위에서 조화 함수 정규화를 통해 매끄럽고 일관된 매핑을 강제하는 새로운 비쌍체 이미지 간 번역 프레임워크인 HarmonicGAN을 제안한다. 이는 아티팩트를 크게 감소시키고 번역 품질을 향상시킨다. 추가적인 감독 없이도 의료 영상, 물체 변형, 의미적 레이블링 분야에서 CycleGAN과 최신 기술을 능가하며, 의료 작업에서 MSE를 절반으로 줄이고 95%의 경우에서 정형의사의 선호를 확보한다.

ABSTRACT

The recent direction of unpaired image-to-image translation is on one hand very exciting as it alleviates the big burden in obtaining label-intensive pixel-to-pixel supervision, but it is on the other hand not fully satisfactory due to the presence of artifacts and degenerated transformations. In this paper, we take a manifold view of the problem by introducing a smoothness term over the sample graph to attain harmonic functions to enforce consistent mappings during the translation. We develop HarmonicGAN to learn bi-directional translations between the source and the target domains. With the help of similarity-consistency, the inherent self-consistency property of samples can be maintained. Distance metrics defined on two types of features including histogram and CNN are exploited. Under an identical problem setting as CycleGAN, without additional manual inputs and only at a small training-time cost, HarmonicGAN demonstrates a significant qualitative and quantitative improvement over the state of the art, as well as improved interpretability. We show experimental results in a number of applications including medical imaging, object transfiguration, and semantic labeling. We outperform the competing methods in all tasks, and for a medical imaging task in particular our method turns CycleGAN from a failure to a success, halving the mean-squared error, and generating images that radiologists prefer over competing methods in 95% of cases.

연구 동기 및 목표

• 기존 비쌍체 이미지 간 번역 방법의 한계, 특히 아티팩트와 열악한 변환을 해결한다.
• 도메인 간 매끄럽고 일관된 매핑을 강제하기 위해 그래프 기반의 조화 함수를 사용하는 다양체 기반 접근법을 도입한다.
• 수동 감독 없이도 샘플의 자기 일관성을 유지하기 위해 유사도-일관성 정규화를 활용한다.
• CycleGAN과 동일한 비쌍체 설정에서 정량적·정성적 성능을 향상시키며, 추가 학습 비용을 최소화한다.
• 이전 방법이 실패하는 도전적인 의료 영상 작업을 포함한 다양한 적용 분야에서 최신 기술 성능을 입증한다.

제안 방법

• 노드가 이미지를, 간선이 히스토GRAM 및 CNN 특징 기반 유사도를 나타내는 샘플 그래프를 구축한다.
• 그래프 상에서 매끄러움 항목을 정의하여 조화 함수를 강제함으로써 일관되고 아티팩트 없는 번역을 확보한다.
• 이중 방향 번역을 학습하기 위해 조화 정규화를 GAN 프레임워크에 통합한다.
• 유사도-일관성 정규화를 활용해 번역 과정에서 데이터 포인트의 본질적 자기 일관성을 유지한다.
• 히스토GRAM 및 딥 CNN 특징의 거리 측도를 사용해 그래프 간선 가중치를 계산함으로써 특징의 정밀도를 향상시킨다.
• 적대적 손실과 조화 정규화를 함께 사용해 모델을 엔드 투 엔드로 학습하며, 추가 학습 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 샘플 그래프 위에서 조화 함수를 강제하면 비쌍체 이미지 간 번역의 일관성과 품질이 향상되는가?
• RQ2 기존 방법과 비교해 제안된 조화 정규화는 아티팩트와 열악한 변환을 얼마나 줄이는가?
• RQ3 수동 감독 없이도 유사도-일관성 특성은 자기 일관성 번역을 얼마나 향상시키는가?
• RQ4 CycleGAN이 실패하는 도전적인 도메인, 예를 들어 의료 영상에서 최신 기술 성능을 달성할 수 있는가?
• RQ5 이 방법은 다양한 이미지 번역 작업에서 해석 가능성과 일반화 능력을 향상시키는가?

주요 결과

• HarmonicGAN은 아티팩트를 크게 감소시키고 번역 품질을 향상시켜 평가된 모든 작업에서 CycleGAN과 다른 최신 기술을 능가한다.
• 의료 영상 분야에서 HarmonicGAN은 CycleGAN 대비 평균 제곱 오차를 50% 감소시켰으며, 이전에 실패했던 방법을 성공적인 것으로 전환시켰다.
• 정형의사들은 95%의 경우에서 HarmonicGAN이 생성한 이미지를 경쟁 방법보다 선호하여 임상적 관련성이 높음을 시사한다.
• 추가 수동 입력이나 상당한 학습 비용 없이도 모든 벤치마크에서 뛰어난 정량적 성능을 달성한다.
• 조화 정규화의 통합은 특히 의미적 레이블링과 같은 복잡한 도메인에서 더 해석 가능하고 일관된 이미지 번역을 이끌어낸다.