[논문 리뷰] Designing GANs: A Likelihood Ratio Approach

Kalliopi Basioti, George V. Moustakides|arXiv (Cornell University)|2020. 02. 03.

Model Reduction and Neural Networks참고 문헌 28인용 수 5

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)를 설계하기 위한 가능도 비율 기반의 방법론을 제안하며, 스칼라 함수 φ와 ψ를 포함하는 단순한 조리법을 통해 손실 함수를 유도함으로써 훈련의 일관성을 보장한다. 주요 기여는 실시간으로 GAN 수렴과 안정성을 모니터링할 수 있는 새로운 온라인 측정지표인 가능도 비율을 도입한 것으로, 이는 특정 손실 함수(예: 하위군 A1a, A1b, A2, MSE)가 CelebA와 CIFAR-10과 같은 복잡한 데이터셋에서 다른 것들보다 뛰어나게 성능을 발휘함을 드러낸다.

ABSTRACT

We are interested in the design of generative networks. The training of these mathematical structures is mostly performed with the help of adversarial (min-max) optimization problems. We propose a simple methodology for constructing such problems assuring, at the same time, consistency of the corresponding solution. We give characteristic examples developed by our method, some of which can be recognized from other applications, and some are introduced here for the first time. We present a new metric, the likelihood ratio, that can be employed online to examine the convergence and stability during the training of different Generative Adversarial Networks (GANs). Finally, we compare various possibilities by applying them to well-known datasets using neural networks of different configurations and sizes.

연구 동기 및 목표

• 정확한 생성자 분포로 수렴을 보장하는, 체계적이고 일관된 GAN 최적화 문제 구성 방법론을 개발하기 위해.
• 손실 함수 설계를 위한 추가 최적화 없이도 효과적인 손실 함수를 식별하는 과제를 해결하기 위해, 통합된 프레임워크에서 이를 유도하기 위해.
• 학습 중 실시간으로 측정 가능한 새로운 측정지표인 가능도 비율을 도입하여 수렴성과 안정성을 평가하기 위해.
• 다양한 데이터셋에서 다양한 GAN 손실 함수를 평가하고 비교하여, 데이터 복잡성 증가에 따라 나타나는 성능 격차를 규명하기 위해.
• 제안된 클래스 내에서 탐색되지 않은 손실 함수가 특히 복잡한 데이터셋에서 기존 손실 함수를 능가할 수 있음을 보여주기 위해.

제안 방법

• 일반적인 최소-최대 최적화 프레임워크를 제안: min_G max_D J(G,D) = E_x~f[φ(D(x))] + E_z~h[ψ(D(G(z)))], 여기서 φ와 ψ는 손실을 정의하는 스칼라 함수이다.
• 측도 변화와 변수 변환을 통해 GAN 최적화와 밀도 기반 문제 간의 등가성을 확립: min_g max_D {E_x~f[φ(D(x))] + E_x~f[r(x)ψ(D(x))]}
• 가능도 비율 함수 r(x) = g(x)/f(x)를 핵심 측정지표로 도입하여, 실시간으로 진짜 샘플과 생성된 샘플에서 추정 가능하게 하여 수렴성을 모니터링한다.
• 최적 해 G(z)가 z ~ h(z)에서 y = G(z) ~ f(y)로 매핑되도록 하는 조건을 도출함으로써 생성자 일관성을 보장한다.
• 다양한 아키텍처의 신경망을 사용하여 다양한 φ와 ψ 조합을 활용해 GAN을 훈련하고, FID 및 KID 점수를 통해 성능을 평가한다.
• 가능도 비율 함수를 활용해 학습 동역학을 분석하고, 실시간으로 안정적 또는 발산하는 행동을 식별한다.

실험 결과

연구 질문

• RQ1 손실 함수 설계를 위한 추가 최적화 없이도 일관성을 보장하는 통합적이고 체계적인 방법을 개발할 수 있는가?
• RQ2 GAN 학습 중 실시간으로 가능도 비율 함수를 추정하여 수렴성과 안정성 측정지표로 신뢰할 수 있도록 할 수 있는가?
• RQ3 다양한 GAN 손실 함수는 데이터셋의 복잡성에 따라 성능이 다를까? 만약 그렇다면, CelebA와 CIFAR-10과 같은 복잡한 데이터셋에서 가장 잘 작동하는 것은 무엇인가?
• RQ4 제안된 프레임워크 내에서 이전에 탐색되지 않은 손실 함수가 허프, 워샤르 GAN과 같은 기존 손실 함수를 능가할 수 있는가?
• RQ5 기울기 페널티의 하이퍼파rameter λ의 선택이 장기적 훈련 안정성에 영향을 주는가? 그리고 최종 FID/KID 점수 향상 없이도 발산을 지연시키기 위해 최적화할 수 있는가?

주요 결과

• Subclass A1a, A1b, A2 및 MSE 손실 함수는 CelebA와 CIFAR-10과 같은 복잡한 데이터셋에서 FID 및 KID 점수 측면에서 다른 GAN 변종보다 일관되게 뛰어난 성능을 보였다.
• 약 8,000개의 샘플만 있는 스탠포드 카스 데이터셋에서는 손실 함수 간 성능 격차가 명확해졌으며, Subclass A 손실 함수가 더 뛰어난 안정성과 품질을 보였다.
• B2, 지수, 교차 엔트로피 GAN의 경우 가능도 비율 함수가 1로 수렴하여 수렴을 나타내었지만, 교차 엔트로피 GAN은 높은 분산을 보여 안정성에 문제가 있음을 시사했다.
• λ=10인 워샤르 GAN은 λ=0.01인 경우보다 이른 시점(약 150,000 반복)에 발산을 보였지만, 모두 유사한 최고의 FID/KID 점수를 달 đạt했다.
• 더 빠른 수렴에도 불구하고 교차 엔트로피 GAN은 가능도 비율에서 높은 분산을 보였고, 이는 잠재적인 불안정성을 시사했으며, 학습률을 낮추면 이를 완화할 수 있었다.
• 가능도 비율 측정지표 덕분에 훈련 발산을 실시간으로 감지할 수 있었으며, 비율이 1에서 벗어난 후 생성 샘플에 흐릿하고 왜곡된 이미지가 나타났다.