[論文レビュー] Natural-Parameter Networks: A Class of Probabilistic Neural Networks

Hao Wang, Xingjian Shi+1 more|arXiv (Cornell University)|Nov 2, 2016

Machine Learning and Data Classification参考文献 23被引用数 38

ひとこと要約

この論文では、自然パラメータネットワーク（NPN）を紹介する。NPNは、重みとニューロンを任意の指数型分布でモデル化する確率的ニューラルネットワークの一種であり、サンプリングを伴わずに柔軟でベイジアンな不確実性推定を可能にする。バックプロパゲーションにより自然パラメータを学習することで、分類、回帰、教師なし表現学習の分野で最先端の性能を達成するとともに、不確実性を考慮した中間表現を提供する。

ABSTRACT

Neural networks (NN) have achieved state-of-the-art performance in various applications. Unfortunately in applications where training data is insufficient, they are often prone to overfitting. One effective way to alleviate this problem is to exploit the Bayesian approach by using Bayesian neural networks (BNN). Another shortcoming of NN is the lack of flexibility to customize different distributions for the weights and neurons according to the data, as is often done in probabilistic graphical models. To address these problems, we propose a class of probabilistic neural networks, dubbed natural-parameter networks (NPN), as a novel and lightweight Bayesian treatment of NN. NPN allows the usage of arbitrary exponential-family distributions to model the weights and neurons. Different from traditional NN and BNN, NPN takes distributions as input and goes through layers of transformation before producing distributions to match the target output distributions. As a Bayesian treatment, efficient backpropagation (BP) is performed to learn the natural parameters for the distributions over both the weights and neurons. The output distributions of each layer, as byproducts, may be used as second-order representations for the associated tasks such as link prediction. Experiments on real-world datasets show that NPN can achieve state-of-the-art performance.

研究の動機と目的

• 訓練データが限られた場合に、標準的なニューラルネットワークが過学習を起こし、不確実性推定が不十分になる問題に対処すること。
• 既存のベイジアンニューラルネットワークが重みとニューロンにガウス分布を仮定するという硬直性を克服すること。
• 異なるデータタイプ（例：度数、バイナリ、連続値）の柔軟なモデリングを可能にするために、任意の指数型分布を許容すること。
• 下流のタスクに利用可能な中間層ニューロンの不確実性推定を提供することにより、2次的表現としての利用を可能にすること。
• 確率的深層ネットワークのための、バックプロパゲーションに準拠し、サンプリングを伴わない訓練手法の開発すること。

提案手法

• NPNは、入力、重み、ニューロン、出力を自然パラメータでパrameter化された指数型分布としてモデル化する。
• ネットワークは線形および非線形層を通じて、分布に対して決定論的な変換を実行し、平均と分散（または十分統計量）を前向きに伝搬する。
• バックプロパゲーションを用いて、重みとニューロンの分布の自然パラメータを学習することで、効率的な勾配ベース最適化を可能にする。
• ポアソン分布やガンマ分布などの非ガウス分布に対しては、平均と分散から導かれる代理自然パラメータを用いることで、微分可能な訓練を可能にする。
• このフレームワークは教師ありおよび教師なし学習をサポートし、前方伝搬と逆伝搬の過程で自然に不確実性推定が得られる。
• 十分統計量の上での合成関数の微分とヤコビアン計算を用いて、ガウス分布やポアソン分布などの異なる分布タイプに対して、具体的なバックプロパゲーション規則を導出する。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布を仮定するのではなく、任意の指数型分布を用いて重みとニューロンをモデル化できるような深層ニューラルネットワークを設計できるか？
• RQ2 中間層ニューロンの不確実性推定を効率的に計算し、下流タスクにおける表現として活用できるか？
• RQ3 サンプリングを伴わない、バックプロパゲーションに準拠したベイジアンニューラルネットワークは、限られたデータ環境下で既存の手法を上回る性能を達成できるか？
• RQ4 中間層の出力分布が、リンク予測やオートエンコーディングなどのタスクで、2次的表現としての役割を果たすことができるか？
• RQ5 異なる分布族（例：度数に適したポアソン分布、重みに適したガンマ分布）が、多様な学習タスクにおけるモデル性能に与える影響は何か？

主な発見

• NPNは、分類、回帰、教師なし表現学習のタスクにおいて、複数の現実世界のデータセットで最先端の性能を達成した。
• モデルは中間層ニューロンの不確実性推定を自然に得ており、オートエンコーディングやリンク予測において表現品質の向上に寄与した。
• ポアソン回帰タスクでは、重みにガンマ分布、出力にポアソン分布を用いたNPNが、特にデータが少ない状況下で、標準的なベースラインを上回った。
• サンプリングを伴わない訓練アプローチにより、ベイズ・バイ・バックプロパゲーションやSGLDなどのモンテカルロベースのベイジアン手法と比較して、計算コストを顕著に削減した。
• 自然パラメータを経由したバックプロパゲーションにより、分布パラメータのエンドツーエンド学習が可能となり、十分統計量とヤコビアン変換を用いて勾配が導出された。
• 代理自然パラメータ（平均と分散）の使用により、非ガウス分布に対しても微分可能で効率的な訓練が可能となり、計算コストを維持したままであった。