[論文レビュー] O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks

Jianlin Su|arXiv (Cornell University)|Mar 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 16

ひとこと要約

O-GANは、標準的なGANに最小限でパラメータフリーの変更を加えることで、単純な相関に基づく損失を用いてディスクリミネーターを強力で学習可能なエンコーダーに変換する。ディスクリミネーターを直交的に分解し、ノイズベクトルとその符号化再構成出力間のピアソン相関損失を追加することで、モデルの複雑さや学習コストを増加させることなく、高精度な画像再構成と分離可能な表現を実現する。

ABSTRACT

In this paper, we propose Orthogonal Generative Adversarial Networks (O-GANs). We decompose the network of discriminator orthogonally and add an extra loss into the objective of common GANs, which can enforce discriminator become an effective encoder. The same extra loss can be embedded into any kind of GANs and there is almost no increase in computation. Furthermore, we discuss the principle of our method, which is relative to the fully-exploiting of the remaining degrees of freedom of discriminator. As we know, our solution is the simplest approach to train a generative adversarial network with auto-encoding ability.

研究の動機と目的

• 標準GANにおけるディスクリミネーター容量の未利用問題に取り組む。これは、学習中にしばしば自明な関数に退化するためである。
• 追加のパラメータや計算コストを追加せずに、意味のある可逆エンコーダーを学習可能にする。
• モデルの複雑さを維持しつつ、GANに自己符号化機能を強化するシンプルで即座に統合可能なソリューションを提供する。
• ディスクリミネーターのアーキテクチャにおける自由度を探索し、それらを意味のある特徴学習を強制するために活用する。
• 追加の損失項を1つだけ用いて、潜在空間における分離可能で線形補間可能な表現を達成する。

提案手法

• ディスクリミネーター出力を $ D(x) = T(E(x)) $ として分解し、$ E $ を共有エンコーダー、$ T $ をスカラーヘッドとする。これにより $ E $ が特徴抽出器として機能可能になる。
• 新たな補助損失 $ -\lambda_2 \rho(z, E(G(z))) $ を導入する。ここで $ \rho $ はノイズベクトル $ z $ と符号化された生成画像 $ E(G(z)) $ 間のピアソン相関を表し、分離可能で再構成可能な表現を促進する。
• 標準の $ D(x) $ の代わりに $ \text{avg}(E(x)) $ をディスクリミネーター得点として使用することで、学習を簡素化し最適化を安定化させる。
• 学習安定性を向上させ、モード崩壊を防止するために微分正則化項 $ R_{x,z} $ を適用する。
• 1回の生成器更新ごとに1回のエンコーダー更新を行う、1ステップ交互最適化スキームを用いてエンコーダー $ E $ と生成器 $ G $ を同時に学習する。
• 最小限の変更で任意のGANフレームワークに統合可能。相関損失の追加とディスクリミネーター出力の再定義のみが必要。

実験結果

リサーチクエスチョン

• RQ1 追加のパラメータや計算コストを追加せずに、標準GANのディスクリミネーターを意味のあるエンコーダーに再利用可能か？
• RQ2 ディスクリミネーターのアーキテクチャに残存する自由度を活用して、構造的かつ分離可能な表現を強制できるか？
• RQ3 潜在ノイズと再構成特徴の間のシンプルな相関に基づく損失が、GANにおける表現品質を向上させるか？
• RQ4 得られたモデルは、高精度な画像生成を維持しながら、正確な再構成と潜在空間における滑らかな補間を達成できるか？
• RQ5 最小限で微分可能な変更のみで、VAEに類似した推論能力をGANフレームワークで達成できるか？

主な発見

• O-GANで学習されたエンコーダーは、CelebA-HQ、FFHQ、LSUN-church、LSUN-bedroomの定量的評価において、入力画像と再構成画像がほぼ同一であることを示しており、高精度な画像再構成を達成している。
• 潜在空間における線形補間により、実画像間で滑らかで意味的に整合性のある遷移が得られ、分離可能で連続的な表現であることが示された。
• 元のGANの生成品質が維持されており、すべての評価データセットで高精度なランダムサンプルが得られている。
• 追加のパラメータが一切なく、計算コストもほとんど増加しない。1つの相関損失項のみに依存している。
• 勾配ペナルティや追加の正則化なしに、固定学習率 $ 10^{-4} $ と $ \beta = 0.99 $ のRMSPropのみでエンコーダーが効果的に学習された。
• 30k～50kイテレーション（GTX 1060で約12時間）で収束し、実用的で効率的な実装であることが示された。