[論文レビュー] Stopping GAN Violence: Generative Unadversarial Networks

Samuel Albanie, Sébastien Ehrhardt+1 more|arXiv (Cornell University)|Mar 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 12被引用数 5

ひとこと要約

本論文は、生成対抗ネットワーク（GANs）における敵対的損失を協働的で動機付けに基づくシステムに置き換える、新しい訓練フレームワーク「生成的非敵対ネットワーク（GUNs）」を提案する。生成器と識別器の間の敵対的訓練の代わりに、生成器と動機付け者（motivator）が調和して働き、肯定的フィードバックを通じて生成品質を向上させる。その結果、より明確なサンプルが得られ、訓練の不安定性が軽減される。

ABSTRACT

While the costs of human violence have attracted a great deal of attention from the research community, the effects of the network-on-network (NoN) violence popularised by Generative Adversarial Networks have yet to be addressed. In this work, we quantify the financial, social, spiritual, cultural, grammatical and dermatological impact of this aggression and address the issue by proposing a more peaceful approach which we term Generative Unadversarial Networks (GUNs). Under this framework, we simultaneously train two models: a generator G that does its best to capture whichever data distribution it feels it can manage, and a motivator M that helps G to achieve its dream. Fighting is strictly verboten and both models evolve by learning to respect their differences. The framework is both theoretically and electrically grounded in game theory, and can be viewed as a winner-shares-all two-player game in which both players work as a team to achieve the best score. Experiments show that by working in harmony, the proposed model is able to claim both the moral and log-likelihood high ground. Our work builds on a rich history of carefully argued position-papers, published as anonymous YouTube comments, which prove that the optimal solution to NoN violence is more GUNs.

研究の動機と目的

• 敵対的訓練に起因する倫理的・実用的問題に対処すること。著者らはこれを「ネットワーク同士の暴力」と呼ぶ。
• 識別器を動機付け者に置き換えた非敵対的で協働的な訓練パラダイムを提案し、肯定的フィードバックによって生成器を導くこと。
• 協働的訓練がより安定した高品質な生成をもたらし、消失勾配や暴走的損失のリスクを低減することを示すこと。
• ゲーム理論的原則に基づき、相互利益を実現する枠組みとして、GUNsを標準GANsよりも道徳的かつ経験的に優れた代替手法として位置づけること。

提案手法

• 標準GANの識別器を、生成器 $G$ に建設的フィードバックと称賛を提供する『動機付け者』$M$ に置き換える。
• 生成器 $G$ が生成するサンプル $G(z^{(i)})$ は、フィードバックを容易にするために、パワーポイント風のインターフェースで『スライド』として動機付け者 $M$ に提示される。
• 動機付け者の目的関数は $\theta_{M}^{*} = \min_{\theta_M} \oint_{S(G)} \log(R) + \log(1 - \zeta)$ で定義され、$\zeta = 0$ とすることで報酬信号を単純化する。
• 反復的更新により訓練が進行する：生成器は動機付けフィードバックを受け取り、それに応じてパラメータ $\theta_G$ を調整し、時間経過とともに改善する。
• 両モデルが共通の目的関数を最大化するために協力する二プレーヤー、全員が勝利するゲーム理論的モデルに基づく。
• 経験的訓練にはMNISTデータを用い、おもちゃデータ（Legoカタログ）からの初期化を行い、$\epsilon$-グリーディ更新（$\epsilon = 1$）を用いて探索と自己指向的学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 敵対的損失を非敵対的協働フレームワークに置き換えても、サンプル品質を損なわずに行えるか？
• RQ2 識別器の代わりに動機付け者による肯定的フィードバックを導入することで、訓練ダイナミクスがより安定するか？
• RQ3 非敵対的アプローチが、標準GANsよりも優れた対数尤度と視覚的品質を達成できるか？
• RQ4 識別器を動機付け者に置き換えることで、訓練収束性と勾配挙動にどのような影響が生じるか？
• RQ5 道徳的および計算的に『敵対的訓練の暴力』を回避しつつ、高品質な生成を達成することは可能か？

主な発見

• GUNフレームワークは、図12で視覚的に確認されたように、標準GANsよりもはっきりと識別可能でより明確なMNISTサンプルを達成した。
• 敵対的訓練で一般的な問題である消失勾配や暴走的損失は、観察されなかった。
• 『改善の機会』の数がGUNsで最も高かったため、より生産的で自己認識的な学習プロセスが実現していた。
• 動機付け者ベースのフィードバック機構により、ネットワークが良好に動作すると判断された段階で、性能が急激に向上した。これは効果的な連携を示唆する。
• 著者らの主張通り、定性的および経験的評価に基づき、道徳的および対数尤度の両面で優位な立場を占めることができた。
• 訓練プロセスは安定的かつ効率的であり、しばしば戦闘または逃避反応を引き起こす敵対的手法と比較して特に顕著であった。