[논문 리뷰] CoMoGAN: continuous model-guided image-to-image translation

Fabio Pizzati, Pietro Cerri외 1명|arXiv (Cornell University)|2021. 03. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 68인용 수 4

한 줄 요약

CoMoGAN은 기능적 인스턴스 정규화(FIN) 레이어와 분리 잔차 블록(DRB)을 사용하여 콘텐츠를 다양체 위치에서 분리함으로써 연속적이고 비선형적인 도메인 번역을 학습하는 새로운 비지도 이미지-이미지 번역 프레임워크를 제안한다. 이는 단순한 물리학 기반 모델을 가이던스로 활용하면서도 사전 지도된 중간 도메인 없이도 비공개 타겟 특징을 탐지할 수 있도록 하며, 사이클형 및 선형 번역 작업에서 최신 기술(SOTA) 수준의 FID 및 LPIPS 점수를 기록하여 기존 방법들을 능가한다.

ABSTRACT

CoMoGAN is a continuous GAN relying on the unsupervised reorganization of the target data on a functional manifold. To that matter, we introduce a new Functional Instance Normalization layer and residual mechanism, which together disentangle image content from position on target manifold. We rely on naive physics-inspired models to guide the training while allowing private model/translations features. CoMoGAN can be used with any GAN backbone and allows new types of image translation, such as cyclic image translation like timelapse generation, or detached linear translation. On all datasets, it outperforms the literature. Our code is available at http://github.com/cv-rits/CoMoGAN .

연구 동기 및 목표

• 중간 도메인 지도 없이 비지도 연속적 이미지-이미지 번역을 가능하게 하기 위해.
• 기능 다양체 상의 위치에서 이미지 콘텐츠를 분리하여 타임랩스나 기상 변화와 같은 연속적 변환을 제어할 수 있도록 하기 위해.
• 라벨이 없는 중간 지점이 없는 모델에 의존하지 않는 프레임워크를 개발하기 위해.
• 모델 가이던스를 그대로 모방하는 것이 아니라 이를 이탈함으로써 일반화와 다양성을 향상시키기 위해.

제안 방법

• 잠재 코드의 기능적 매핑을 학습함으로써 타겟 데이터 다양체의 연속적 형태 변화를 가능하게 하는 기능적 인스턴스 정규화(FIN) 레이어를 도입한다.
• 새로운 정규화 및 잔차 메커니즘을 통해 콘텐츠와 다양체 위치(ϕ)를 분리하는 분리 잔차 블록(DRB)을 활용한다.
• 생성된 출력과 모델 예측 출력 간의 거리를 추정함으로써 다양체 일관성을 강제하기 위해 쌍별 ϕ 회귀 네트워크(ϕ-Net)를 사용한다.
• 두 가지 핵심 손실을 최적화한다: 물리학 기반 모델과의 일치를 위한 모델 재구성 손실(ℒM)과 다양체 상의 구조적 관계를 유지하기 위한 다양체 일관성 손실(ℒϕ).
• 어떤 GAN 백본을 사용해도 끝에서 끝까지 학습이 가능하며, 단일 및 다중 모달 번역 설정을 모두 지원한다.
• ϕ-넷을 통해 입력에서 ϕ를 추정함으로써 ϕ에 의존하지 않는 추론을 가능하게 하여 고정된 소스 조건 없이 절대적 및 상대적 번역(예: '어느 시점 → 낮' 또는 '+5°')을 수행할 수 있다.

실험 결과

연구 질문

• RQ1 중간 도메인 지도나 레이블이 부여된 중간 지점 없이도 연속적이고 비선형적인 이미지 번역을 학습할 수 있는가?
• RQ2 타임랩스나 기상 변화와 같은 연속적 변환을 제어할 수 있도록 이미지 콘텐츠와 다양체 위치(ϕ)를 어떻게 분리할 수 있는가?
• RQ3 단순한 물리학 기반 모델이 강제로 모방당하지 않도록 하면서도 복잡한 비공개 타겟 특징을 학습하는 데 도움이 될 수 있는가?
• RQ4 GAN이 혼합된 소스 및 타겟 데이터로부터 비지도로 기능 다양체를 얼마나 잘 탐색하고 재구성할 수 있는가?
• RQ5 소스 도메인과 타겟 도메인이 사전에 분리되지 않은 진정한 비지도 환경에서도 이 프레임워크가 일반화될 수 있는가?

주요 결과

• CoMoGAN은 사이클형(예: 타임랩스) 및 선형형(예: 심도, dense) 이미지 번역 작업에서 모두 최신 기술(SOTA) 성능을 달성하며, 이는 기존 SOTA 방법들을 능가한다.
• Day→Timelapse 작업에서 CoMoGAN은 ℒM 및 ℒϕ 손실을 모두 사용할 경우 LPIPS 0.236을 기록했으며, 이는 아블레이션 결과(ℒM 없이 0.020, ℒϕ 없이 0.044)보다 유의미하게 뛰어나다.
• 가이던스 기반 접근과 분리 잠재화 덕분에 CoMoGAN은 독자적인 타겟 특징을 학습할 수 있었으며, FID는 1.41로 낮고 다양성은 더 뛰어나, 모방 모델보다 FID가 증가하는 경향을 보이지 않았다.
• 황혼/일몰 데이터가 부족할 경우 학습이 심각하게 실패함을 확인하여, 특히 복잡한 다양체 구조에서 데이터 희소성에 매우 민감함을 시사한다.
• ϕ-에이젠식 추론은 어려운 입력(예: 야경 이미지)에서도 절대적 및 상대적 번역(예: '어느 시점 → 낮' 또는 '+5°')을 가능하게 하여 강건성과 일반화 능력을 입증한다.
• 프레임워크는 진정한 비지도 환경(예: 도메인 혼동이 있는 MNIST-M)에서도 연속적 다양체를 성공적으로 학습하여 고정된 소스/타겟 분할 없이 유효한 번역 결과를 생성한다.