[論文レビュー] Learning the Structure of Deep Sparse Graphical Models

Ryan P. Adams, Hanna Wallach+1 more|arXiv (Cornell University)|Dec 31, 2009

Graph Theory and Algorithms参考文献 17被引用数 54

ひとこと要約

本稿では、任意の深さと幅を持つ深くスパースな有向グラフィカルモデルに、無限個の隠れユニットを組み合わせた非パrametricベイジアン事前分布としての段階的インディアン・バーガー過程（CIBP）を導入する。CIBPを非線形ガウス信念ネットワーク（NLGBN）と組み合わせることで、ネットワークの深さ、層幅、エッジ構造、および各隠れユニットのタイプ（離散的または連続的）を同時に推論可能となり、画像データセットにおいても計算可能なMCMC推論が可能になる。

ABSTRACT

Deep belief networks are a powerful way to model complex probability distributions. However, learning the structure of a belief network, particularly one with hidden units, is difficult. The Indian buffet process has been used as a nonparametric Bayesian prior on the directed structure of a belief network with a single infinitely wide hidden layer. In this paper, we introduce the cascading Indian buffet process (CIBP), which provides a nonparametric prior on the structure of a layered, directed belief network that is unbounded in both depth and width, yet allows tractable inference. We use the CIBP prior with the nonlinear Gaussian belief network so each unit can additionally vary its behavior between discrete and continuous representations. We provide Markov chain Monte Carlo algorithms for inference in these belief networks and explore the structures learned on several image data sets.

研究の動機と目的

• 隠れユニットが存在する深層ベイズネットワークの構造を学習する課題に取り組むこと、特に層数やユニット数が未知である場合に焦点を当てる。
• 無限個の隠れユニットを許容し、任意のネットワーク深さを維持しつつも計算可能な推論を可能にする非パラメトリックベイジアン事前分布を構築すること。
• 有向エッジ構造だけでなく、各隠れユニットのタイプ（離散的または連続的）を推論可能とすることで、多様な表現行動を捉えること。
• 非パラメトリックベイジアン手法と深層ベイズネットワークを統合し、モデル選択を回避する。代わりに、1つの無限次元モデル内で有効な複雑性を学習すること。

提案手法

• 段階的インディアン・バーガー過程（CIBP）を提案する。これは、複数の層にまたがる有向エッジを表す無限大の階層的バイナリ行列を生成する、インディアン・バーガー過程の新規拡張である。
• CIBPを深層ベイズネットワークの構造に対する非パラメトリック事前分布として用い、1つの生成プロセスで任意の深さと幅を許容する。
• CIBPを非線形ガウス信念ネットワーク（NLGBN）フレームワークと統合し、各隠れユニットの挙動は精度パラメータによって制御され、離散的から連続的活性化へと変化する。
• マルコフ連鎖モンテカルロ（MCMC）アルゴリズムを用いて、観測データから潜在構造、エッジ割り当て、ユニットタイプ、モデルパラメータを同時に推論する。
• 重み行列とバイナリーエッジインジケータをヘラーマード積を用いて結合し、親ユニットのみが活性化和に寄与することを保証する。
• 範囲(−1, 1)を持つシグモイド変換を用い、逆リンク関数を精度パラメータによって学習することで、柔軟で連続的またはバイナリーユニット挙動を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックベイジアン事前分布を設計し、隠れユニットを伴う深層ベイズネットワークの深さ、幅、有向エッジ構造を同時に推論可能とすることができるか？
• RQ2 構造学習中に、隠れユニットが離散的表現と連続的表現の間で動的に選択可能となるようにすることは可能か？
• RQ3 無限次元のモデル次元を有するにもかかわらず、提案されたCIBPが計算可能な推論を保証する理論的保証は何か？
• RQ4 本モデルは、画像データにおける局所的相関とグローバル相関の違いに応じて、どのようにアーキテクチャを適応させるか？
• RQ5 事前にネットワークの深さや幅に関する仮定を設けず、意味的でスパースかつ階層的な表現を発見できるか？

主な発見

• CIBP事前分布により、Foster-Lyapunov基準による収束の証明を経て、無限に広がりかつ深いベイズネットワークにおいても計算可能なMCMC推論が可能であることが示された。
• MNISTでは、最初の隠れ層に約120ユニット、2番目の層に100ユニット、3番目の層に70ユニットを有する3層構造が学習された。
• Frey Facesデータセットでは、より広く密集した構造が発見され、最初の隠れ層に260ユニットが存在し、データのグローバル相関を反映していた。
• バイナリーエッジ行列における学習済み接続パターンは、MNISTでは局所的からFrey Facesではグローバルへと変化し、モデルがデータ統計に応じて構造を適応可能であることを示した。
• MCMCサンプラーは良好に混合し、数時間のCPU時間で妥当な再構成が得られた。これは安定的かつ効果的な推論を示している。
• フレームワークは、隠れユニットの数とその動作タイプ（離散的または連続的）の両方を成功裏に推論でき、柔軟でデータ駆動型の表現学習を可能にした。