[논문 리뷰] Stopping GAN Violence: Generative Unadversarial Networks

Samuel Albanie, Sébastien Ehrhardt외 1명|arXiv (Cornell University)|2017. 03. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 5

한 줄 요약

이 논문은 생성적 비대칭 신경망(GANs)의 적대적 손실을 협력적이고 동기부여 기반 시스템으로 대체하는 새로운 훈련 프레임워크인 생성적 비대칭망(GUNs)을 제안한다. 생성자와 판별기 사이의 적대적 훈련 대신, 생성자와 동기부여자(모티베이터)가 조화를 이뤄 긍정적 피드백을 통해 생성 품질을 향상시키는 방식이다. 이로 인해 더 선명한 샘플이 생성되고 훈련의 불안정성이 감소한다.

ABSTRACT

While the costs of human violence have attracted a great deal of attention from the research community, the effects of the network-on-network (NoN) violence popularised by Generative Adversarial Networks have yet to be addressed. In this work, we quantify the financial, social, spiritual, cultural, grammatical and dermatological impact of this aggression and address the issue by proposing a more peaceful approach which we term Generative Unadversarial Networks (GUNs). Under this framework, we simultaneously train two models: a generator G that does its best to capture whichever data distribution it feels it can manage, and a motivator M that helps G to achieve its dream. Fighting is strictly verboten and both models evolve by learning to respect their differences. The framework is both theoretically and electrically grounded in game theory, and can be viewed as a winner-shares-all two-player game in which both players work as a team to achieve the best score. Experiments show that by working in harmony, the proposed model is able to claim both the moral and log-likelihood high ground. Our work builds on a rich history of carefully argued position-papers, published as anonymous YouTube comments, which prove that the optimal solution to NoN violence is more GUNs.

연구 동기 및 목표

• 저자들이 '네트워크 간 폭력'으로 묘사하는 GANs의 적대적 훈련에서 비롯되는 윤리적 및 실용적 문제를 해결하기 위해.
• 판별기를 동기부여자로 대체해 긍정적 피드백을 통해 생성자를 이끄는 비적대적, 협력적 훈련 프레임워크를 제안하기 위해.
• 협력적 훈련이 더 안정적이고 고품질의 생성 결과를 이끌며, 기울기 소멸 및 폭주 손실의 위험을 줄인다는 것을 입증하기 위해.
• 게임 이론적 원리에 기반해 상호 이익을 추구하는 모델로서, GUNs를 표준 GANs보다 도덕적으로도 경험적으로도 열등한 대안으로 위치시키기 위해.

제안 방법

• 표준 GAN의 판별기를 생성자 $G$에게 건설적 피드백과 칭찬을 제공하는 '동기부여자' $M$로 대체한다.
• 생성자 $G$가 생성한 샘플 $G(z^{(i)})$는 파wr포인트 유사 인터페이스에서 '슬라이드'로 제시되어 피드백을 쉽게 받을 수 있도록 한다.
• 동기부여자의 목적은 $\theta_{M}^{*} = \min_{\theta_M} \oint_{S(G)} \log(R) + \log(1 - \zeta)$ 로 정의되며, 보상 신호를 단순화하기 위해 $\zeta = 0$ 으로 설정된다.
• 반복적인 업데이트를 통해 훈련이 진행되며, 생성자는 동기부여자의 동기 부여 피드백을 받아 파라미터 $\theta_G$ 를 조정하고 시간이 지남에 따라 향상된다.
• 두 플레이어가 공동의 목표를 극대화하기 위해 협력하는 '이득을 모두 나누는' 이론적 게임 모델에 기반한다.
• 실험적 훈련은 MNIST 데이터를 사용하며, 토이 데이터(Lego 카탈로그)에서 초기화하고, 탐색과 자율 학습을 장려하기 위해 $\epsilon$-그리디 업데이트를 $\epsilon = 1$ 으로 적용한다.

실험 결과

연구 질문

• RQ1 비적대적 협력 훈련 프레임워크가 샘플 품질을 희생시키지 않고 GANs의 적대적 손실을 대체할 수 있는가?
• RQ2 판별기를 동기부여자로 대체해 긍정적 피드백을 제공함으로써 훈련 동역학이 더 안정해지는가?
• RQ3 비적대적 접근이 표준 GANs보다 더 높은 로그우도와 시각적 품질을 달성할 수 있는가?
• RQ4 판별기를 동기부여자로 대체함으로써 훈련 수렴성과 기울기 행동에 어떤 영향을 미치는가?
• RQ5 윤리적·계산적으로 '적대적 훈련의 폭력성'을 피하면서도 고품질의 생성을 달성할 수 있는가?

주요 결과

• GUN 프레임워크는 그림 12에서 시각적으로 확인한 바와 같이, 표준 GANs보다 훨씬 더 선명하고 읽기 쉬운 MNIST 샘플을 생성했다.
• 생성자와 판별기 간의 적대적 훈련에서 흔히 발생하는 기울기 소멸이나 폭주 손실 현상이 전혀 발생하지 않았다.
• 향상 기회 수가 GUNs에서 가장 높았으며, 이는 더 생산적이고 자기 반성적인 학습 과정을 의미한다.
• 동기부여자 기반 피드백 메커니즘이 네트워크가 잘 작동한다고 판단된 후 급격한 성능 향상을 이끌어내어 효과적인 상호보완성을 보였다.
• 저자들이 주장한 것처럼, 정성적 및 경험적 평가에 기반해 제안된 방법은 도덕적·로그우도 측면에서 모두 높은 수준을 확보했다.
• 특히 적대적 방법이 종종 네트워크에 싸움-도망 반응을 유도하는 것과는 달리, 훈련 과정은 안정적이고 효율적이었다.