[論文レビュー] Generating images with recurrent adversarial networks

Daniel Jiwoong Im, Chris Dongjoo Kim+2 more|arXiv (Cornell University)|Feb 16, 2016

Generative Adversarial Networks and Image Synthesis被引用数 23

ひとこと要約

本稿では、視覚的キャンバスに対する反復的で敵対的トレーニングによる更新を通じて高品質な画像を合成する、再帰的生成モデルであるGenerative Recurrent Adversarial Networks (GRAN)を提案する。粗いものから細かいものへの構造や注目メカニズムに基づく手法とは異なり、GRANは粗いものから細かいものへの構造や注目メカニズムを強制せずに、エンドツーエンドで最適な生成ダイナミクスを学習し、新しい敵対的評価指標を用いて、画像生成ベンチマークで最先端の性能を達成した。

ABSTRACT

Gatys et al. (2015) showed that optimizing pixels to match features in a convolutional network with respect reference image features is a way to render images of high visual quality. We show that unrolling this gradient-based optimization yields a recurrent computation that creates images by incrementally adding onto a visual "canvas". We propose a recurrent generative model inspired by this view, and show that it can be trained using adversarial training to generate very good image samples. We also propose a way to quantitatively compare adversarial networks by having the generators and discriminators of these networks compete against each other.

研究の動機と目的

• 粗いものから細かいものへの構造や注目メカニズムに基づく構造を強制せずに、最適な画像生成ダイナミクスを学習する再帰的生成モデルを開発すること。
• 画像合成プロセスをニューラルスタイル転送における特徴マッチングに類似した微分可能な反復的最適化としてモデル化することで、画像生成の質を向上させること。
• 2つのモデルの生成器と識別器が互いに競い合う「バトル」を基にした、新たな定量的評価フレームワークを導入すること。
• 再帰的敵対的ネットワークが、単一ステップのGAN や既存の順序付きモデルに比べて優れた視覚的サンプルを生成できることを示すこと。
• ノイズの注入戦略が再帰的生成におけるサンプルの多様性とトレーニングの安定性に与える影響を調査すること。

提案手法

• モデルは、現在のキャンバスと参照画像から抽出した特徴に基づいて、ピクセル単位の補正を生成することで、再帰的ネットワークを用いて繰り返し潜在的キャンバスを更新する。
• 画像生成は、Gatysら（2015）の勾配ベースの最適化プロセスを展開する形で定式化され、生成器がキャンバスに対して微分可能な再帰的更新を実行する。
• 生成器と識別器は、実画像と生成画像を区別するためのミニマックス敵対的目的関数に基づいてトレーニングされる。
• 新しい評価指標として、2つのモデルの識別器と生成器が互いに競い合う「バトル」を想定し、より現実的なサンプルを生成する方の生成器を特定する。
• ノイズを初期段階で一度だけ、または各タイムステップで注入することで、サンプルの多様性とトレーニングの安定性への影響を調査する。
• バックプロパゲーション・スル・タイムを用いてエンドツーエンドで訓練され、各ステップで同一のモジュールが適用されることで、ネットワークが最適な生成シーケンスを学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 粗いものから細かいものへの構造や注目メカニズムを強制せずに、再帰的敵対的ネットワークが高品質な画像を生成できるか？
• RQ2 単一ステップのGANと比較して、視覚的キャンバスの反復的・再帰的最適化は、画像の質と多様性においてどのように異なるか？
• RQ3 2つのモデルの生成器と識別器が互いに競う「バトル」に基づく新しい敵対的評価指標は、生成モデルの順位付けを信頼性を持って行えるか？
• RQ4 各タイムステップで異なるノイズベクトルを注入するのと、初期段階で一度だけノイズを注入するのとでは、サンプル品質とトレーニングの安定性にどのような影響を与えるか？
• RQ5 モデルは過学習の挙動を示すか？その場合、記憶化ではなく、トレーニング例の間の補間として現れるか？

主な発見

• 提案された敵対的評価指標による検証により、GRANは単一ステップのGAN や既存の順序付きモデルを上回り、高品質で多様な画像を生成した。
• 時間の経過とともに、モデルはより詳細な画像を生成し、中間ステップではテクスチャーや構造の段階的改善が観察された。注目メカニズムや粗いものから細かいものへの設計を明示的に組み込まずとも、同様の改善が得られた。
• 各タイムステップで異なるノイズベクトルを注入すると、中間ステップの更新がよりダイナミックになり、視覚的変動が増加するが、トレーニングの難易度が上昇し、モード崩壊のリスクが高まる。
• クロスバトル評価指標を用いた評価では、GRAN5はGRAN9と対戦して、テストスコア1.09、サンプルスコア1.07を記録し、優れた性能を示した。
• モデルは、記憶化ではなく、トレーニング例の間の補間を示す挙動を示しており、通常の生成モデルにおける過学習とは異なる形での一般化を示している。
• 7ステップまたは9ステップのGRANは、5ステップのモデルと類似した視覚的サンプルを生成したが、評価バトルでは7ステップのバージョンが勝利した。これは、新しい評価指標において、より長い生成シーケンスが現実性の向上に寄与することを示している。