[論文レビュー] Neural Autoregressive Distribution Estimation

Benigno Uría, Marc-Alexandre Côté+3 more|arXiv (Cornell University)|May 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 72被引用数 21

ひとこと要約

この論文は、層間で重みを共有する自己回帰的積による結合データ分布の因子分解を行う、扱いやすく、前向き型のニューラルネットワークに基づくモデルであるニューラル自己回帰分布推定（NADE）を紹介する。NADEは、バイナリ値、実数値、画像データにおいて競争力のある密度推定性能を達成しており、深層バージョンでは順序に依存しないモデリングが可能となり、2次元構造向けに畳み込み拡張も可能である。

ABSTRACT

We present Neural Autoregressive Distribution Estimation (NADE) models, which are neural network architectures applied to the problem of unsupervised distribution and density estimation. They leverage the probability product rule and a weight sharing scheme inspired from restricted Boltzmann machines, to yield an estimator that is both tractable and has good generalization performance. We discuss how they achieve competitive performance in modeling both binary and real-valued observations. We also present how deep NADE models can be trained to be agnostic to the ordering of input dimensions used by the autoregressive product rule decomposition. Finally, we also show how to exploit the topological structure of pixels in images using a deep convolutional architecture for NADE.

研究の動機と目的

• 教師なし分布および密度推定のための、扱いやすく効率的なニューラルネットワークアーキテクチャの開発を目的とする。
• 有向および無向グラフィカルモデルにおける周辺尤度計算の非扱いやすさを、自己回帰的因子分解を活用することで解決することを目的とする。
• 自己回帰的条件付き分布間での重み共有を通じて、高次元密度推定における汎化性能の向上と過学習の低減を目的とする。
• 深層アーキテクチャおよび畳み込み層を用いて、NADEを実数値データおよび2次元画像データに拡張することを目的とする。
• 入力次元の順序に依存しないモデリングを可能にするために、入力次元の順序不変表現を学習することを目的とする。

提案手法

• 入力次元の任意の順序に基づいて、結合分布 $ p(\mathbf{x}) $ を条件付き分布の積に因子分解する：$ p(\mathbf{x}) = \prod_{d=1}^D p(x_{o_d} \mid \mathbf{x}_{o_{<d}}) $。
• 各条件付き分布を、入力から隠れ層への重み $ \mathbf{W} $ とバイアス $ \mathbf{c} $ を共有する前向き型ニューラルネットワークでパラメータ化し、パラメータ数を $ O(HD^2) $ から $ O(HD) $ に削減する。
• バイナリ出力確率をモデル化するために、パラメータ $ \mathbf{V}_{o_d, \cdot} $ とバイアス $ b_{o_d} $ を持つシグモイド出力層を使用する：$ p(x_{o_d}=1 \mid \mathbf{x}_{o_{<d}}) = \text{sigm}(\mathbf{V}_{o_d, \cdot} \mathbf{h}_d + b_{o_d}) $。
• 隠れ表現 $ \mathbf{h}_d = \text{sigm}(\mathbf{W}_{\cdot, o_{<d}} \mathbf{x}_{o_{<d}} + \mathbf{c}) $ を計算する。ここで、各条件付き分布に対して関係する入力次元のみが使用される。
• 確率的勾配降下法を用いて尤度最大化によりモデルを学習し、過学習を防ぐために早期停止と重み減衰を適用する。
• 出力次元ごとに混合ガウス分布（MoG）またはラプラス分布を用いることで、NADEを実数値データに拡張し、共有畳み込みカーネルを用いた深層畳み込みNADEにより画像データに拡張する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークに基づく自己回帰的モデルは、尤度計算を扱いやすく保ちつつ、競争力のある密度推定性能を達成できるか？
• RQ2 NADEにおける重み共有は、独立したネットワークを各条件付き分布に割り当てた場合と比較して、モデル容量、汎化性能、パラメータ効率にどのような影響を与えるか？
• RQ3 深層NADEアーキテクチャは、アーキテクチャ設計により入力順序に依存しないものにできるか？
• RQ4 標準ベースラインと比較して、NADEは2次元画像や音声スペクトログラムなどの構造的データをどの程度効果的にモデリングできるか？
• RQ5 混合ガウス分布や連続的出力分布を用いて、NADEを実数値データに拡張できるか？

主な発見

• NADEは、バイナリMNISTにおいて最先端の対数尤度を達成し、RBMや他のモデルを上回った。テスト時の対数尤度は1例あたり93.1ナツであった。
• 実数値画像パッチに対しては、出力次元ごとに10個のガウス分布を用いたNADEが、TIMITのコアテストセットで1例あたり127.8ナツの対数尤度を達成し、MoGベースラインを15ナツも上回った。
• 音声スペクトログラムに学習させたRNADEモデルは、生成されたサンプルでフォルマント構造が明確に現れ、スペクトルダイナミクスをより良く捉えていることが示された。
• 層間で重みを共有する深層NADEアーキテクチャにより、パrameter数が $ O(HD^2) $ から $ O(HD) $ に削減され、学習効率が著しく向上し、過学習のリスクも低減された。
• 畳み込みNADEモデルは、画像内の2次元トポロジカル構造を効果的に活用し、1024ユニットのモデルで自然画像パッチにおいて競争力のある性能を達成した。
• 混合ラプラス成分またはSAS（スケール不確かさスケール）分布を用いたRNADEは、高いロバストネスを示し、最良のRNADE-MoGモデル（$ K=10 $）はTIMITで127.8ナツを達成し、MoGベースラインを著しく上回った。