[논문 리뷰] CatGAN: Coupled Adversarial Transfer for Domain Generation.

Shanshan Wang, Lei Zhang|arXiv (Cornell University)|2017. 11. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 7

한 줄 요약

CatGAN은 효율적인 도메인 적응을 위해 대칭적이고 얕은 다층 퍼셉트론을 사용하는 결합된 적대적 전이 GAN을 제안한다. GAN 손실과 도메인 손실을 함께 최적화함으로써 생성기와 판별기 쌍을 동시에 최적화함으로써 내용의 정밀도를 유지하고 레이블 제약 없이 경쟁적인 성능을 달성하며, 상태기반 기법들을 능가한다.

ABSTRACT

This paper introduces a Coupled adversarial transfer GAN (CatGAN), an efficient solution to domain alignment. The basic principles of CatGAN focus on the domain generation strategy for adaptation which is motivated by the generative adversarial net (GAN) and the adversarial discriminative domain adaptation (ADDA). CatGAN is structured by shallow multilayer perceptrons (MLPs) for adversarial domain adaptation. The CatGAN comprises of two slim and symmetric subnetworks, which then formulates a coupled adversarial learning framework. With such symmetry, the input images from source/target domain can be fed into the MLP network for target/source domain generation, supervised by the coupled discriminators for confrontation. Notablely, each generator contains GAN loss and domain loss to guarantee the simple network work well. The content fidelity term aims at preserving the domain specific knowledge during generation. Another finding is that the class-wise CatGAN is an effective alternative to conditional GAN without label constraint in generative learning. We show experimentally that the proposed model achieves competitive performance with state-of-the art approaches.

연구 동기 및 목표

• 전이 학습에서의 도메인 이동 문제를 해결하기 위해 원천 도메인과 타겟 도메인 간의 도메인 정렬을 향상시키기.
• 얕은 다층 퍼셉트론을 사용한 적대적 도메인 적응을 위한 경량이고 효율적인 아키텍처를 개발하기.
• 타겟 도메인에서 레이블이 필요 없이 내용을 유지하는 도메인 전이를 가능하게 하기.
• 조건부 GAN 유사 환경에서 명시적 레이블 감독 없이 클래스별 생성의 효과성을 탐색하기.

제안 방법

• CatGAN은 원천 도메인에서 타겟 도메인으로, 그리고 타겟 도메인에서 원천 도메인으로의 도메인 번역을 위한 두 개의 대칭적이고 얕은 다층 퍼셉트론(MLP) 하위망을 사용한다.
• 프레임워크는 결합된 판별기를 사용하여 적대적 훈련을 강제하며, 각 생성기는 자신과 대응하는 판별기를 속이도록 훈련된다.
• 각 생성기는 GAN 손실과 도메인 손실의 조합으로 최적화되어 현실적이고 도메인에 맞는 이미지 생성을 보장한다.
• 생성 과정 중 도메인 특수 특징을 유지하기 위해 손실 함수에 내용 정밀도 항이 통합된다.
• 모델은 클래스별 생성을 지원하며, 레이블 감독이 필요 없이 조건부 GAN의 대안으로 기능한다.
• 대칭 아키텍처는 이중 방향 도메인 전이와 생성기 및 판별기의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 복잡한 네트워크나 레이블이 없는 조건에서 경량이고 대칭적인 MLP 기반 GAN 아키텍처가 경쟁적인 도메인 적응 성능을 달성할 수 있는가?
• RQ2 결합된 적대적 훈련 프레임워크는 원천 도메인과 타겟 도메인 분포를 얼마나 효과적으로 정렬하는가?
• RQ3 내용 정밀도 항은 이미지 생성 과정에서 도메인 특수 특징을 얼마나 잘 유지하는가?
• RQ4 조건부 GAN과 유사하게 명시적 레이블 제약 없이 클래스별 생성을 효과적으로 달성할 수 있는가?
• RQ5 정확도와 효율성 측면에서 CatGAN은 최첨단 도메인 적응 기법들과 어떻게 비교되는가?

주요 결과

• CatGAN은 경량 아키텍처임에도 불구하고 도메인 적응 벤치마크에서 경쟁적인 성능을 달성하며, 최첨단 기법들을 맞추거나 능가한다.
• 대칭적이고 결합된 훈련 프레임워크는 적대적 학습을 통해 원천 도메인과 타겟 도메인 분포를 효과적으로 정렬한다.
• 내용 정밀도 손실의 포함으로 생성된 이미지의 품질과 도메인 특수 특징의 유지가 크게 향상된다.
• 레이블 제약 없이도 클래스별 생성이 성공적으로 달성되어, 조건부 GAN의 레이블 없이도 대체 가능한 모델의 능력을 입증한다.
• 얕은 MLP의 사용은 효율적인 훈련과 추론을 가능하게 하여 CatGAN이 도메인 적응 작업에 대해 확장 가능한 솔루션임을 보여준다.