[論文レビュー] Deep AutoRegressive Networks

Karol Gregor, Ivo Danihelka+3 more|arXiv (Cornell University)|Oct 31, 2013

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 112

ひとこと要約

この論文は、自己回帰的な確率的隠れ層を備えた深層生成的オートエンコーダーであるDeep AutoRegressive Networks (DARNs)を紹介する。このモデルは、高速かつ正確な祖先サンプリングを可能にし、効率的な生成を実現する。モデルは最小記述長(MDL)最適化により訓練され、変分推論を近似し、MNIST、アーケードゲーム、UCIデータセットにおいて最先端の生成性能を達成する。

ABSTRACT

We introduce a deep, generative autoencoder capable of learning hierarchies of distributed representations from data. Successive deep stochastic hidden layers are equipped with autoregressive connections, which enable the model to be sampled from quickly and exactly via ancestral sampling. We derive an efficient approximate parameter estimation method based on the minimum description length (MDL) principle, which can be seen as maximising a variational lower bound on the log-likelihood, with a feedforward neural network implementing approximate inference. We demonstrate state-of-the-art generative performance on a number of classic data sets: several UCI data sets, MNIST and Atari 2600 games.

研究の動機と目的

• 従来のモデルが抱える遅く相関の強いサンプリングの問題を克服し、祖先サンプリングにより高速かつ正確なサンプリングを実現する深層生成的オートエンコーダーの開発。
• 最小記述長(MDL)原則に基づく理論的裏付けのある訓練手法の提供により、表現のコンパクトさと冗長性の低さを確保する。
• 確率的隠れ層内に自己回帰的接続を統合し、計算コストが著しく増大することなく、層内依存関係を効率的に捉える。
• スケーラブルな深層アーキテクチャを実現し、確率的層と決定的層を交互に配置することで、階層的表現学習を可能にする。
• 画像や時系列データを含む多様なデータモダリティにおいて、最先端の生成性能を実証する。

提案手法

• モデルは、自己回帰的依存関係を持つ確率的隠れ層を備えた深層アーキテクチャを採用しており、各ユニットは同じ層内の以前のユニットおよび前の層に依存する。
• デコーダーは祖先サンプリングを用いる：最も深い層から始め、上から下へ1ユニットずつ順にサンプリングすることで、マルコフ連鎖のバーンインを必要とせず正確なサンプルを生成する。
• エンコーダーは下流から上流へ、左から右へ順に推論を行い、観測値が与えられたときの隠れ表現の事後分布を近似する。
• 訓練はMDLコストの最小化により実施され、これはヘルムホルツの変分自由エネルギーの最小化に相当し、確率的勾配降下法が用いられる。
• 再パラメトリゼーショントリックに加え、勾配の分散を低減するための制御変数ベースラインを用いて、確率的ユニットを介したバックプロパゲーションを可能にする。
• ベースラインは、h_i = 0.5におけるネットワーク出力の1次テイラー近似として定義され、勾配推定の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 確率的隠れ層内に自己回帰的接続を導入することで、深層生成モデルにおける高速かつ正確な祖先サンプリングが可能になるか？
• RQ2 最小記述長(MDL)原則に基づく訓練は、標準的なオートエンコーダー正則化と比較して、より優れた生成性能とよりコンパクトな表現をもたらすか？
• RQ3 確率的層と決定的層を交互に配置した深層アーキテクチャは、画像や動画フレームのような複雑なデータに対して効果的に訓練・スケーリング可能か？
• RQ4 層内自己回帰的依存関係の導入は、無向的または完全接続された横方向接続と比較して、計算効率とモデル表現力の面で優れているか？
• RQ5 DARNsは、MNIST やアーケードゲーム2600など、ベンチマークデータセットにおいてどれほど最先端の生成性能を達成できるか？

主な発見

• DARNsはMNISTで最先端の負の対数尤度を達成し、テストセットスコアが108.5ビット/次元であった。
• アーケードゲーム2600では、Freewayで19.9、Pongで23.7、Space Invadersで113.0、River Raidで139.4、Sea Questで217.9のテストセット負の対数尤度を達成した。
• 局所接続DARNsのサンプルから、学習時に見られなかったオブジェクトの新しい組み合わせを含む高品質で多様なサンプルが生成された。
• 制御変数ベースラインの使用により、訓練中の勾配分散が顕著に低減され、確率的ユニットを介した安定した最適化が可能になった。
• モデルは畳み込み型および局所接続アーキテクチャへも効果的にスケーリングされ、高いサンプル品質と訓練効率を維持した。
• MDLに基づく訓練目的関数は、予測的かつ生成的である一方で、コンパクトで冗長性のない表現を生成した。