[논문 리뷰] O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks

Jianlin Su|arXiv (Cornell University)|2019. 03. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 16

한 줄 요약

O-GAN은 표준 GAN에 최소한의 파라미터가 없는 수정을 제안하여, 간단한 상관계수 기반 손실을 통해 판별기(discriminator)를 강력하고 학습 가능한 인코더로 전환한다. 판별기를 직교적으로 분해하고 노이즈 벡터와 그 재구성된 표현 간의 피어슨 상관계수 손실을 추가함으로써, O-GAN은 모델 복잡도나 학습 비용을 증가시키지 않으면서도 고해상도 이미지 재구성과 분리된 표현을 가능하게 한다.

ABSTRACT

In this paper, we propose Orthogonal Generative Adversarial Networks (O-GANs). We decompose the network of discriminator orthogonally and add an extra loss into the objective of common GANs, which can enforce discriminator become an effective encoder. The same extra loss can be embedded into any kind of GANs and there is almost no increase in computation. Furthermore, we discuss the principle of our method, which is relative to the fully-exploiting of the remaining degrees of freedom of discriminator. As we know, our solution is the simplest approach to train a generative adversarial network with auto-encoding ability.

연구 동기 및 목표

• 표준 GAN에서 판별기의 잠재적 능력이 학습 과정에서 둔화되어 단순한 함수로 변질되는 문제를 해결하기 위해.
• 추가 파라미터나 계산 부담 없이도 의미 있는, 역행할 수 있는 인코더를 학습할 수 있도록 하기 위해.
• 모델의 성능을 유지하면서도 GAN에 자동인코딩 기능을 간편하게 통합할 수 있는 단순한 플러그인 솔루션을 제공하기 위해.
• 판별기 아키텍처의 자유도를 탐색하고 이를 활용해 의미 있는 특징 학습을 강제하기 위해.
• 단일 추가 손실 항목을 통해 잠재 공간에서 분리된, 선형으로 보간 가능한 표현을 달성하기 위해.

제안 방법

• 판별기 출력을 $ D(x) = T(E(x)) $로 분해하여, $ E $는 공유 인코더이고 $ T $는 스칼라 헤드이며, 이로써 $ E $가 특징 추출기로 기능하도록 한다.
• 새로운 보조 손실 $ -\lambda_2 \rho(z, E(G(z))) $를 도입하며, 여기서 $ \rho $는 노이즈 벡터 $ z $와 인코딩된 생성된 이미지 $ E(G(z)) $ 간의 피어슨 상관계수이다. 이는 분리된 표현과 재구성 가능한 표현을 장려한다.
• 표준 $ D(x) $ 대신 $ \text{avg}(E(x)) $를 판별기 점수로 사용하여 학습을 단순화하고 최적화를 안정화시킨다.
• 학습 안정성을 향상시키고 모드 붕괴를 방지하기 위해 미분 정규화 항 $ R_{x,z} $를 적용한다.
• 단일 스텝 교차 최적화 방식을 사용해 인코더 $ E $와 생성기 $ G $를 동시에 학습하며, 생성기 업데이트당 한 번의 인코더 업데이트를 수행한다.
• 모델에 추가된 상관계수 손실과 판별기 출력의 재정의만으로도 어떤 GAN 프레임워크에나 최소한의 수정으로 통합할 수 있다.

실험 결과

연구 질문

• RQ1 추가 파라미터나 계산 비용 없이도 표준 GAN의 판별기를 의미 있는 인코더로 재사용할 수 있는가?
• RQ2 판별기 아키텍처의 잔여 자유도를 어떻게 활용하여 구조적이고 분리된 표현을 강제로 만들 수 있는가?
• RQ3 잠재 노이즈와 재구성된 특징 간의 단순한 상관계수 기반 손실이 GAN 내 표현 품질을 향상시키는가?
• RQ4 결과 모델은 높은 품질의 이미지 생성을 유지하면서도 정확한 재구성과 잠재 공간 내 매끄러운 보간을 달성할 수 있는가?
• RQ5 단지 최소한의 미분 가능한 수정만으로도 VAE 수준의 추론 기능을 GAN 프레임워크에서 달성할 수 있는가?

주요 결과

• O-GAN을 통해 학습된 인코더는 CelebA-HQ, FFHQ, LSUN-church, LSUN-bedroom 등 다양한 데이터셋에서 정성적으로 입력 이미지와 거의 동일한 재구성 이미지를 보여주며 고해상도 재구성 성능을 달성했다.
• 잠재 공간 내 선형 보간은 실제 이미지 간에 매끄럽고 의미적으로 유의미한 전환을 생성하여 분리된 연속적인 표현을 나타낸다.
• 모델은 원래 GAN의 생성 품질을 유지하며, 모든 평가 데이터셋에서 고해상도의 임의의 샘플을 생성함으로써 이를 입증했다.
• 추가 파라미터 없이도 극히 미미한 계산 부담만으로 이러한 결과를 달성했으며, 단일 상관계수 손실 항목에 의존하고 있다.
• 기울기 페널티나 추가 정규화 없이도 RMSProp을 사용해 고정된 학습률 $ 10^{-4} $와 $ \beta = 0.99 $로 효과적으로 인코더를 학습시켰다.
• 학습은 GTX 1060에서 약 12시간이 소요되는 30k–50k 반복 내에 수렴하여 실용성과 효율성을 입증했다.