[論文レビュー] Improved Training of Generative Adversarial Networks Using Representative Features

Duhyeon Bang, Hyunjung Shim|arXiv (Cornell University)|Jan 28, 2018

Advanced Image Processing Techniques参考文献 32被引用数 15

ひとこと要約

本稿では、事前学習済みオートエンコーダーから得た代表的特徴を識別器に転送することで、GANの訓練安定性を向上させるとともに、画像の質と多様性のトレードオフを解消する代表的特徴GAN（RFGAN）を提案する。前向きKLダイバージェンスを最小化するように学習された特徴を用いて識別器を暗黙的に正則化することで、逆向きKLと前向きKLの影響をバランスさせ、モード崩壊を低減し、複数のGANアーキテクチャにおいて視覚的忠実性とサンプルの多様性の両方を向上させる。

ABSTRACT

Despite the success of generative adversarial networks (GANs) for image generation, the trade-off between visual quality and image diversity remains a significant issue. This paper achieves both aims simultaneously by improving the stability of training GANs. The key idea of the proposed approach is to implicitly regularize the discriminator using representative features. Focusing on the fact that standard GAN minimizes reverse Kullback-Leibler (KL) divergence, we transfer the representative feature, which is extracted from the data distribution using a pre-trained autoencoder (AE), to the discriminator of standard GANs. Because the AE learns to minimize forward KL divergence, our GAN training with representative features is influenced by both reverse and forward KL divergence. Consequently, the proposed approach is verified to improve visual quality and diversity of state of the art GANs using extensive evaluations.

研究の動機と目的

• GANにおける視覚的質と画像多様性の間の持続的トレードオフを解消すること。これは、しばしばモード崩壊や低品質なサンプルを引き起こす。
• 元のGAN目的関数を変更せず、明示的な正則化項を追加せず、GANの訓練安定性を向上させること。
• 事前学習済みオートエンコーダーから得た代表的特徴を活用し、識別器を暗黙的に正則化することで、データ分布全体を考慮するように導くこと。
• 提案手法がさまざまなGANアーキテクチャにわたって頑健であり、勾配ペナルティと組み合わせても有効であることを示すこと。
• 改善がデータの過学習によるものでないことを確認するため、滑らかな潜在空間内挿入を検証すること。

提案手法

• 事前学習済みオートエンコーダーを用いて、実データ分布からの代表的特徴を抽出し、それを標準GANの識別器に転送する。
• これらの特徴を組み込むことで、識別器を暗黙的に正則化する。これらの特徴は前向きKLダイバージェンスを最小化するように学習され、モードカバレッジを促進する。
• 標準GAN損失に由来する逆向きKLの影響と、代表的特徴に由来する前向きKLの影響を組み合わせることで、訓練を安定化させ、モード崩壊を低減する。
• オートエンコーダーは事前に独立して訓練され、GAN訓練の前に凍結されるため、代表的特徴が初期から安定的かつ情報豊富であることが保証される。
• 本手法はDCGAN、LSGAN、WGAN-GP、DRAGANなど、さまざまなGANアーキテクチャと互換性があり、勾配ペナルティとも組み合わせ可能である。
• 元のGAN目的関数を変更せず、ミニマックス定式化を維持しつつ、特徴注入によって識別器の挙動を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みオートエンコーダーからの代表的特徴は、GANの訓練安定性を向上させ、モード崩壊を低減できるか？
• RQ2 特徴注入によって逆向きKLと前向きKLの影響を組み合わせることで、画像の多様性と視覚的質が向上するか？
• RQ3 提案手法はさまざまなGANアーキテクチャにわたって頑健であり、勾配ペナルティと組み合わせても有効か？
• RQ4 改善がデータの過学習ではなく、より良い潜在空間構造に起因するものか？
• RQ5 元のGAN目的関数を変更せずに、訓練速度と収束性が向上するか？

主な発見

• RFGANは、テストされたすべてのGANアーキテクチャにおいて、画像の多様性を顕著に向上させ、MS-SSIMスコアが実データに近づく。特にDCGAN-RFは、ベースラインのDCGANに比べて顕著な改善を示す。
• DRAGAN-RFは最高のMS-SSIMスコアを達成し、最も多様なサンプルを生成する。一方、DCGAN-RFはモード崩壊の低減により、ベースラインに比べて最も顕著な改善を示す。
• DCGAN-RFでは、エンコーダーに残差ブロックを適用した場合、インセプションスコアが6.73にまで上昇し、アーキテクチャの改善に伴うさらなる性能向上を示している。
• ALI/BiGANとAGEはMS-SSIMスコアは類似しているが、インセプションスコアは著しく低い（5.34および5.90）ため、視覚的質が劣っている。一方、RFGANは6.20を超えるインセプションスコアを達成している。
• RFGANにおける潜在空間内挿入では、生成画像間の滑らかな遷移が確認され、モデルが意味のある潜在空間を学習しており、過学習を回避していることが裏付けられる。
• 情報豊富な初期特徴のおかげで、初期段階の訓練が加速され、明示的な正則化や目的関数の変更なしに安定性を維持する。