[논문 리뷰] Fisher GAN

Youssef Mroueh, Tom Sercu|arXiv (Cornell University)|2017. 05. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 11

한 줄 요약

Fisher GAN은 가중치 클리핑이나 기타 데이터 독립적 제약 조건 없이 안정적이고 효율적인 GAN 훈련을 가능하게 하는, 비용 함수의 두 번째 모멘트에 대한 데이터에 의존하는 제약 조건을 사용하는 새로운 훈련 프레임워크를 제안한다. 이는 적분 확률 거리(Probability Metrics, IPM) 가족 내에서 이루어지며, 강력한 이미지 생성 및 준지도 분류 성능를 달성하면서도 비평가의 표현 능력을 유지한다.

ABSTRACT

Generative Adversarial Networks (GANs) are powerful models for learning complex distributions. Stable training of GANs has been addressed in many recent works which explore different metrics between distributions. In this paper we introduce Fisher GAN which fits within the Integral Probability Metrics (IPM) framework for training GANs. Fisher GAN defines a critic with a data dependent constraint on its second order moments. We show in this paper that Fisher GAN allows for stable and time efficient training that does not compromise the capacity of the critic, and does not need data independent constraints such as weight clipping. We analyze our Fisher IPM theoretically and provide an algorithm based on Augmented Lagrangian for Fisher GAN. We validate our claims on both image sample generation and semi-supervised classification using Fisher GAN.

연구 동기 및 목표

• 기존 GAN 훈련의 불안정성과 비효율성을 해결하기 위해 새로운 IPM 기반 프레임워크를 제안한다.
• GAN 훈련에서 가중치 클리핑과 같은 데이터 독립적 제약 조건의 필요성을 제거한다.
• 새로운 모멘트 제약 조건을 통해 안정적인 최적화를 보장하면서도 높은 비평가 표현 능력을 유지한다.
• 이론적으로 타당하고 계산적으로 효율적인 GAN 훈련 알고리즘을 개발한다.
• 이러한 접근법이 이미지 생성 및 준지도 분류 과제에서 검증된다.

제안 방법

• Fisher GAN은 비평가의 출력에 대한 두 번째 모멘트에 대한 데이터에 의존하는 제약 조건을 갖는 비평가를 수립한다.
• 이 방법은 적분 확률 거리(IPM) 프레임워크 내에서 작동하며, 분포 간 차이를 측정하기 위해 피셔 발산 기반의 거리 척도를 사용한다.
• 제약 최적화 문제를 효율적으로 해결하기 위해 보조 라그랑주 알고리즘을 제안한다.
• 비평가는 데이터 분포에 적응하는 모멘트 제약 조건 하에서 진짜 샘플과 생성된 샘플을 구분하도록 훈련된다.
• 이 제약 조건은 비평가의 표현 능력을 제한하지 않으면서도 안정성을 보장한다.
• 동일한 비평가 아키텍처를 통해 무조건적 생성과 준지도 학습을 모두 지원한다.

실험 결과

연구 질문

• RQ1 가중치 클리핑에 의존하지 않고 데이터에 의존하는 모멘트 제약 조건이 GAN 훈련을 안정화시킬 수 있는가?
• RQ2 Fisher GAN은 훈련 안정성을 확보하면서도 비평가의 표현 능력을 유지하는가?
• RQ3 기존의 IPM 기반 GAN과 비교할 때 Fisher GAN은 훈련 효율성과 샘플 품질 측면에서 어떻게 다른가?
• RQ4 Fisher GAN은 준지도 분류 과제에서 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 피셔 IPM 수식의 이론적 근거는 무엇인가?

주요 결과

• Fisher GAN은 가중치 클리핑이나 기타 데이터 독립적 제약 조건 없이도 안정적이고 시간 효율적인 GAN 훈련을 가능하게 한다.
• 이 방법은 높은 비평가 표현 능력을 유지하여 아키텍처 제약으로 인한 성능 저하를 방지한다.
• 보조 라그랑주 알고리즘이 실질적으로 제약 최적화 문제를 효과적으로 해결한다.
• Fisher GAN은 경쟁력 있는 성능을 보이며 이미지 샘플 생성에서 고품질의 샘플을 생성한다.
• 준지도 분류 벤치마크에서 양호한 성능을 보이며 강력한 특징 학습 능력을 나타낸다.
• 이론적 분석을 통해 피셔 IPM 수식이 IPM 프레임워크 내에서 타당함을 확인한다.