[論文レビュー] Iterative Neural Autoregressive Distribution Estimator (NADE-k)

Tapani Raiko, Li Yao+2 more|arXiv (Cornell University)|Jun 5, 2014

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 23

ひとこと要約

この論文は、欠損値の再構築を繰り返しkステップ行うことで密度推定を向上させる、ニューラル自己回帰分布推定器（NADE）の反復的拡張であるNADE-kを提案する。パラメータ数を増やさずにモデル容量を向上させることで、2つのベンチマークデータセットで最先端の性能を達成した。NADE-kは、計算可能（tractable）な尤度計算、効率的なサンプリング、および変分推論にインspiredされた複数ステップ推論機構を組み合わせることで、優れた性能を実現した。

ABSTRACT

Training of the neural autoregressive density estimator (NADE) can be viewed as doing one step of probabilistic inference on missing values in data. We propose a new model that extends this inference scheme to multiple steps, arguing that it is easier to learn to improve a reconstruction in $k$ steps rather than to learn to reconstruct in a single inference step. The proposed model is an unsupervised building block for deep learning that combines the desirable properties of NADE and multi-predictive training: (1) Its test likelihood can be computed analytically, (2) it is easy to generate independent samples from it, and (3) it uses an inference engine that is a superset of variational inference for Boltzmann machines. The proposed NADE-k is competitive with the state-of-the-art in density estimation on the two datasets tested.

研究の動機と目的

• NADEにおける1ステップの自己回帰的推論の制限を解決すること。これは、トレーニングが計算可能であるにもかかわらず、モデル容量が制限されるためである。
• 欠損データに対してk回の反復的推論ステップを実行することで、尤度推定と生成的性能を向上させること。
• 標準NADEおよび順序に依存しない学習バージョンを上回る性能を発揮しつつ、尤度計算の計算可能性と効率的なサンプリングを維持すること。
• 反復的推論が、1ステップ自己回帰モデルと比較してパラメータ効率性を向上させるかどうかを検討すること。

提案手法

• NADE-kは、観測値が与えられたもとでの欠損値の条件付き確率を、n層の深層順方向ニューラルネットワークを用いてモデル化する。このネットワークはkステップにわたり繰り返し適用される。
• 観測値は固定され、欠損値は学習データの平均値に初期化されたマスクされた入力ベクトルを用いることで、反復的な改善が可能になる。
• 各ステップで、ネットワークは入力ベクトルの現在の状態に基づいて次の値を予測し、k回の繰り返しによって再構築精度が向上する。
• トレーニングの目的関数は、すべてのデータ順序の平均をとった負の対数尤度を最小化する。これは、ランダムに選択された順序とランダムに選択された開始インデックスdを用いた確率的推定器を用いる。
• モデルアーキテクチャは、深さと反復回数の柔軟な設定を可能にし、NADEおよびマルチ予測ディープボルツマンマシンの両方の構造に類似している。
• 推論エンジンは、ボルツマンマシンの変分推論のスーパーセットであり、反復的な改善によって真のデータ分布のより良い近似が可能になる。

実験結果

リサーチクエスチョン

• RQ1 反復的推論は、モデル複雑度を増やさずに、NADEのような自己回帰的モデルの尤度推定性能を向上させることができるか？
• RQ2 欠損値に対してk回の推論ステップを実行することで、1ステップ自己回帰モデルと比較してパラメータ効率性が向上するか？
• RQ3 NADE-kは、標準NADEおよび順序に依存しない学習バージョンを上回りつつ、計算可能なかつ効率的な尤度とサンプリングを維持できるか？
• RQ4 推論ステップ数（k）が、密度推定タスクにおけるモデル性能と一般化性能に与える影響は何か？
• RQ5 NADE-kにおける反復的再構築は、より複雑な生成モデル（例：RBM や DBN）と同等またはそれを上回る性能を達成できるか？

主な発見

• 1000個の隠れユニットを用いたNADE-kは、670個の隠れユニットを用いたNADE-mask（-112.51）を上回り、テスト尤度が-108.81を達成した。
• 4000個の隠れユニットを用いたNADE-5は、テスト尤度が-107.28を達成し、RBM（4000個の隠れユニット）が達成した以前の最先端の結果（-107.78）を上回った。
• 1000個の隠れユニットを用いたNADE-2は、同じ数のパラメータを持つRBMと同等の性能を示し、パラメータ効率性の向上を示した。
• すべてのテストパラメータ設定において、NADE-kはNADE-maskを上回った。これは、反復的推論がモデル容量を向上させることを示している。
• NADE-kから得られる生成サンプルは、高品質な再構築を示しており、データ分布のパターンを効果的に学習していることを示している。
• 正則化に対してモデルの性能は頑健であり、L2重み減衰とドロップアウトは特に高容量設定において一般化性能を向上させた。