[논문 리뷰] Learning to Discover Cross-Domain Relations with Generative Adversarial Networks

Taek‐Soo Kim, Moonsu Cha외 3명|arXiv (Cornell University)|2017. 03. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 731

한 줄 요약

DiscoGAN은 쌍이 없는 데이터에서 두 GAN을 공동으로 학습시켜 두 도메인 간을 양방향으로 매핑함으로써 명시적 페어 라벨 없이도 양방향 이미지 변환을 가능하게 하여 교차 도메인 관계를 학습한다. 이는 모드 붕괴를 줄이고 핵심 속성을 보존하면서 스타일을 전달하는 전단사 매핑을 발견한다.

ABSTRACT

While humans easily recognize relations between data from different domains without any supervision, learning to automatically discover them is in general very challenging and needs many ground-truth pairs that illustrate the relations. To avoid costly pairing, we address the task of discovering cross-domain relations given unpaired data. We propose a method based on generative adversarial networks that learns to discover relations between different domains (DiscoGAN). Using the discovered relations, our proposed network successfully transfers style from one domain to another while preserving key attributes such as orientation and face identity. Source code for official implementation is publicly available https://github.com/SKTBrain/DiscoGAN

연구 동기 및 목표

• 비용이 큰 페어 데이터 없이 교차 도메인 관계를 찾는 필요성을 제시한다.
• 두 개의 비라벨링 이미지 도메인 간의 관계를 발견하는 GAN 기반 접근법을 제안한다.
• 도메인 간의 일대일 대응을 보장하기 위해 양방향 매핑을 가능하게 한다.
• 학습된 관계가 스타일을 전달하면서 아이덴티티/속성을 보존하는 것을 보여준다.

제안 방법

• 교차 도메인 관계를 두 도메인 간의 전단사 매핑으로 정의한다.
• 각 도메인이 서로로 그리고 다시 되돌아가도록 두 GAN을 연결하여 재구성 손실을 강제한다.
• 각 도메인에 대해 하나씩 두 재구성 손실을 사용하여 전단사를 촉진한다.
• 각 도메인에서 현실성을 판단하기 위해 두 판별기를 함께 학습시킨다.
• 양 방향의 GAN 및 재구성 항을 포함하는 결합된 생성자 손실을 최적화한다.
• 64x64x3 출력을 갖는 인코더-디코더 생성기를 적용하고 표준 GAN 학습 절차를 따른다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크가 페어 데이터 없이도 의미 있는 교차 도메인 관계를 발견할 수 있는가?
• RQ2 양방향 재구성을 강제하는 것이 모드 붕괴를 방지하고 전단사 매핑을 만들어내는가?
• RQ3 학습된 관계가 다양한 도메인 간에 신뢰할 수 있는 이미지 대 이미지 변환을 가능하게 하는가?
• RQ4 대상 속성을 바꾸면서 비대상 속성(아이덴티티, 방향, 배경)을 보존하는가?

주요 결과

• DiscoGAN은 페어 데이터 없이 도메인 간의 전단사 매핑을 학습한다.
• 모델은 표준 GAN 및 재구성만을 사용하는 GAN에 비해 모드 붕괴를 감소시킨다.
• DiscoGAN은 얼굴, 자동차, 의자, 에지, 사진 등과 같은 도메인 간 양방향 변환을 달성한다.
• 번역은 스타일을 전달하면서 핵심 속성을 보존하며, 여러 현실 도메인 작업에서 입증된다.
• 반복된 번역도 일관성을 유지하여 안정된 교차 도메인 관계를 시사한다.
• 정성적 결과는 속성 보존과 의미 있는 교차 도메인 스타일 전이를 보여준다.