[논문 리뷰] Attribute Guided Unpaired Image-to-Image Translation with Semi-supervised Learning

Xinyang Li, Jie Hu외 5명|arXiv (Cornell University)|2019. 04. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 11

한 줄 요약

이 논문은 새로운 속성 유도형 비쌍체 이미지 간 번역 모델인 AGUIT을 제안한다. 이 모델은 준감독 학습과 분리 표현 학습을 통합하여 번역 과정에서 세밀한 제어를 가능하게 한다. 라벨이 부여된 속성과 비라벨 데이터를 사이클 일致성과 함께 활용함으로써, 정규 분포와 도메인 레이블 분포로부터 유도된 연속적이고 분리된 성분으로 스타일을 분해함으로써, 다중 도메인, 다중 모달 번역에서 뛰어난 성능을 달성하며, 제로샷 속성 전이를 위한 새로운 벤치마크로 분리 전이를 도입한다.

ABSTRACT

Unpaired Image-to-Image Translation (UIT) focuses on translating images among different domains by using unpaired data, which has received increasing research focus due to its practical usage. However, existing UIT schemes defect in the need of supervised training, as well as the lack of encoding domain information. In this paper, we propose an Attribute Guided UIT model termed AGUIT to tackle these two challenges. AGUIT considers multi-modal and multi-domain tasks of UIT jointly with a novel semi-supervised setting, which also merits in representation disentanglement and fine control of outputs. Especially, AGUIT benefits from two-fold: (1) It adopts a novel semi-supervised learning process by translating attributes of labeled data to unlabeled data, and then reconstructing the unlabeled data by a cycle consistency operation. (2) It decomposes image representation into domain-invariant content code and domain-specific style code. The redesigned style code embeds image style into two variables drawn from standard Gaussian distribution and the distribution of domain label, which facilitates the fine control of translation due to the continuity of both variables. Finally, we introduce a new challenge, i.e., disentangled transfer, for UIT models, which adopts the disentangled representation to translate data less related with the training set. Extensive experiments demonstrate the capacity of AGUIT over existing state-of-the-art models.

연구 동기 및 목표

• 완전히 감독된 데이터가 필요로 하며 명시적인 도메인 정보 인코딩이 부족한 기존 비쌍체 이미지 간 번역(UIT) 모델의 한계를 해결한다.
• 라벨이 부여된 데이터와 비라벨 데이터를 모두 활용하는 준감독 학습 프레임워크를 도입하여 고비용 레이블링에 대한 의존도를 낮춘다.
• 정규 분포 노이즈와 도메인 레이블 분포로부터 유도된 연속적이고 독립적인 성분으로 스타일을 분해함으로써 세밀하고 제어 가능한 이미지 번역을 가능하게 한다.
• 모델이 훈련 중에 볼 수 없었던, 관련이 없는 콘텐츠(예: 동물에게 안경을 씌우기)에 속성을 번역하는 새로운 평가 과제인 분리 전이를 제안한다.

제안 방법

• 새로운 준감독 훈련 방식을 제안: 라벨이 부여된 이미지에서 속성을 비라벨 이미지로 번역한 후, 사이클 일치를 이용해 비라벨 이미지를 재구성함으로써 특징 일致성을 강제한다.
• 이미지 표현을 도메인에 영향을 받지 않는 콘텐츠 코드와 도메인 특화된 스타일 코드로 분해하며, 스타일은 표준 정규 분포 노이즈 벡터와 연속적인 도메인 레이블 분포의 조합으로 모델링한다.
• 각 차원이 별개의 독립된 속성에 대응하도록 스타일 코드를 훈련시켜 분리성을 강제함으로써, 각 속성을 별도로 조작할 수 있도록 한다.
• 번역 과정에서 재구성 정확도를 확보하고 도메인 간 특징 정렬을 향상시키기 위해 사이클 일치 손실을 적용한다.
• 스타일 코드에 감독(라벨된 속성) 및 비감독(노이즈) 성분을 통합하여 제어 가능한 출력과 다양한 출력을 모두 가능하게 한다.
• 생성자와 판별기를 적대적 손실, 사이클 일치 손실, 재구성 손실을 함께 최적화하여 훈련 안정성과 번역 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 준감독 학습 프레임워크는 라벨 데이터에 대한 의존도를 줄이며 비쌍체 이미지 간 번역 성능을 향상시킬 수 있는가?
• RQ2 콘텐츠와 도메인 특화 속성 간을 분리한 스타일 표현은 세밀하고 제어 가능한 이미지 번역을 가능하게 하는가?
• RQ3 모델은 인간의 얼굴 속성(예: 안경)을 훈련 중에 볼 수 없었던 동물에 적용하는 제로샷 속성 전이에 일반화될 수 있는가?
• RQ4 기존의 스타일 인코딩 방법에 비해 제안된 이중 스타일 인코딩(Gaussian + 도메인 레이블)은 분리성과 제어 가능성 측면에서 어떻게 비교되는가?
• RQ5 준감독 훈련 방식은 제한된 라벨 데이터에서 표현 학습과 번역 품질 향상에 얼마나 기여하는가?

주요 결과

• AGUIT는 다중 도메인 및 다중 모달 이미지 번역에서 최신 기술(SOTA) 성능을 달성하며, CycleGAN, StarGAN, MUNIT, SMIT 등 기존 모델을 정량적·정성적으로 모두 능가한다.
• 준감독 훈련 방식은 제한된 라벨 데이터에서 번역 품질을 크게 향상시키며, 속성 번역과 사이클 일치를 통한 비라벨 데이터 활용의 효과를 입증한다.
• 감독 기반 스타일 코드 분리로 세밀한 제어가 가능해졌으며, 개별 속성 차원을 따라 선형 보간하면 출력 이미지에 품질 저하 없이 부드럽고 의미 있는 변화가 발생한다.
• 스타일 코드의 노이즈 성분을 통해 조명, 헤어 스타일 등의 속성을 비감독적으로 분리함으로써 수동 레이블링의 필요성을 줄였다.
• AGUIT는 성공적으로 분리 전이를 수행했으며, 인간 얼굴의 안경 같은 속성을 고양이, 개 등 훈련 중에 볼 수 없었던 대상에 적용함으로써 정체성과 구조를 유지한다. 이는 CycleGAN, StarGAN, MUNIT가 실패하거나 왜곡된 결과를 내는 과제이다.
• 모델의 분리 표현은 간섭 최소화된 고해상도 해석 가능한 번역을 가능하게 하며, 이는 이중 스타일 인코딩 전략의 성공을 확인한다.