[論文レビュー] RNADE: The real-valued neural autoregressive density-estimator

Benigno Uría, Iain Murray+1 more|arXiv (Cornell University)|Jun 2, 2013

Bayesian Methods and Mixture Models参考文献 32被引用数 107

ひとこと要約

RNADE は、共有パラメータと混合密度ネットワークを用いた自己回帰的モデリングにより、実数値ベクトルの同時密度推定のための扱いやすい深層生成モデルを導入する。これは効率的な尤度計算と勾配降下法による学習を可能にし、大部分の知覚的・多様なデータセットにおいて混合モデルを上回る性能を発揮するとともに、分散表現を学習する。

ABSTRACT

We introduce RNADE, a new model for joint density estimation of real-valued vectors. Our model calculates the density of a datapoint as the product of one-dimensional conditionals modeled using mixture density networks with shared parameters. RNADE learns a distributed representation of the data, while having a tractable expression for the calculation of densities. A tractable likelihood allows direct comparison with other methods and training by standard gradient-based optimizers. We compare the performance of RNADE on several datasets of heterogeneous and perceptual data, finding it outperforms mixture models in all but one case.

研究の動機と目的

• 実数値データの同時密度推定のための柔軟で扱いやすいモデルを構築すること。
• ニューラル自己回帰分布推定器（NADE）を実数値入力に拡張するために、混合密度ネットワークを統合すること。
• 扱いやすい尤度関数により、標準の勾配ベース最適化手法を用いた効率的な学習を可能にすること。
• パラメータ共有を用いてデータの分散表現を学習し、データが限られている場合の一般化性能を向上させること。
• 知覚的および多様なデータセットにおける密度推定において、従来の混合モデルを上回ること。

提案手法

• RNADE は、実数値ベクトルの同時密度をチェーンルールを用いて、一変量の条件付き密度の積に因数分解する。
• 各条件付き密度は、次元間で共有された重みを持つフィードフォワードニューラルネットワークを用いて、ガウス混合としてモデル化される。
• ネットワークの入力から隠れ層への重みにパラメータの縛り（パラメータ共有）を適用することで、モデルの複雑さを低減し、効率的な計算を可能にする。
• 共有パラメータを用いた混合密度ネットワークにより、各条件付き分布の平均、分散、混合重みをモデル化する。
• 自己回帰的順序に沿って隠れ活性化を再帰的に計算することで、O(DH) 時間で尤度を効率的に計算する。
• 誤差逆伝播法を用いて、尤度に関するすべてのモデルパラメータに対する勾配を計算し、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パラメータ共有と混合密度出力を持つ深層ニューラルネットワークは、従来の混合モデルよりも、複雑な実数値同時密度をより効果的にモデル化できるか？
• RQ2 自己回帰フローにおける共有重みの使用は、小規模データセットにおける一般化性能を向上させるか？
• RQ3 サンプリングに基づく推論に依存せずに、実数値生成モデルで扱いやすい尤度を達成できるか？
• RQ4 知覚的および多様なデータにおいて、RNADE は混合モデルや他の深層生成モデルと比較して、密度推定性能で優れているか？
• RQ5 このモデルは、単一成分モデルよりも、実世界のデータの構造をよりよく捉える分散表現を学習できるか？

主な発見

• RNADE はテストされたデータセットのうち1つを除き、すべてのデータセットで混合モデルを上回る密度推定性能を示し、優れたモデル化能力を示している。
• 画像パッチの密度推定において、最先端の性能を達成しており、複雑な知覚的データ分布を密に近似できることを示唆している。
• 共有パラメータの使用により、パラメータ数が入力次元の二次関数的から一次関数的へと削減され、一般化性能の向上と過学習の低減が達成された。
• 扱いやすい尤度関数により、標準の勾配ベース最適化手法による直接最適化が可能となり、近似推論やサンプリングの必要がなくなった。
• 複数の活性化された隠れユニットを通じて分散表現を学習し、単一成分モデルよりも現実世界のデータの構造をよりよく再現している。
• 実験的結果から、混合密度ネットワーク部は、制約のない混合モデルに比べて少ない成分数で非線形的かつ異分散的なデータをモデル化できることを示している。