[論文レビュー] Online Structure Learning for Sum-Product Networks with Gaussian Leaves

Wilson Hsu, Agastya Kalra+1 more|arXiv (Cornell University)|Jan 19, 2017

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

本論文は、ガウス型リーフを備えた和積ネットワーク（SPN）の、初めてのオンライン構造学習アルゴリズムを提示する。この手法により、構造の妥当性を保つために完全性および分解可能性を維持しながら、データストリームからの逐次的・一回走査での学習が可能になる。本手法はリアルタイムで統計的に有意な相関関係を検出するとともに、動的に有効なSPN構造を構築し、訓練時間の短縮と大規模データセットにおけるスケーラビリティを実現しながら、競争力ある尤度性能を達成する。

ABSTRACT

Sum-product networks have recently emerged as an attractive representation due to their dual view as a special type of deep neural network with clear semantics and a special type of probabilistic graphical model for which inference is always tractable. Those properties follow from some conditions (i.e., completeness and decomposability) that must be respected by the structure of the network. As a result, it is not easy to specify a valid sum-product network by hand and therefore structure learning techniques are typically used in practice. This paper describes the first online structure learning technique for continuous SPNs with Gaussian leaves. We also introduce an accompanying new parameter learning technique.

研究の動機と目的

• 連続データに対してガウス型リーフを備えた有効な和積ネットワーク（SPN）を構築する課題に取り組むこと。従来は手動設計またはバッチ学習に依存していた。
• バッチ処理やランダム初期化を回避する、データストリームからのオンラインで逐次的なSPN構造学習を可能にすること。
• オンライン更新中に構造の妥当性（完全性および分解可能性）を維持するとともに、意味のある統計的相関関係を検出すること。
• 尤度、サイズ、および訓練時間の観点から、大規模ベンチマークデータセットにおける本手法のスケーラビリティと性能を評価すること。
• 今後の高度なパrameter学習や自動的複雑度制御との統合の基盤を提供すること。

提案手法

• アルゴリズムは、各変数が単変量ガウス型リーフである完全に独立した構造から開始する。
• データがストリーム形式で到着すると、走査統計を用いて変数間の対間相関を計算する。
• 相関が事前に定義されたしきい値（例：0.1）を超えると、関連する変数を表す多変量ガウス型リーフが作成される。
• 完全性および分解可能性を保つために、新しい和ノードおよび積ノードを導入することでネットワークを更新し、SPNが常に有効な構造を保つようにする。
• 複雑度の制御と過学習の防止のため、最大リーフサイズ制約を用いる。
• 平均、共分散、重みの走査推定値を用いて、逐次的なパrameter学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 ガウス型リーフを備えた連続的SPNに対して、構造の妥当性を保ちながら、オンライン構造学習を効果的に適用できるか？
• RQ2 相関しきい値が、得られるSPN構造、サイズ、および尤度性能にどのように影響を与えるか？
• RQ3 1リーフあたりの最大変数数が、モデルの性能と効率に与える影響は何か？
• RQ4 大規模データセットにおいて、本手法の訓練時間およびメモリ使用量のスケーリング特性はいかがなものか？
• RQ5 バッチ手法と比較して、オンライン手法が競争力ある尤度性能を達成できるか？

主な発見

• 相関しきい値0.1が、5つのベンチマークデータセットのうち3つで最良の対数尤度を達成し、実際の相関関係を検出するのとノイズを避けるとの最適なバランスを示している。
• Powerデータセットでは、相関しきい値が上昇するにつれて平均訓練時間が著しく短縮され、しきい値0.05の197秒から0.7の9秒にまで低下した。
• Powerデータセットにおける平均SPNサイズは、しきい値が上昇するにつれて減少し、しきい値0.05では24,914ノードから0.7では11ノードにまで減少した。
• 1リーフあたり3変数の最大リーフサイズが、モデル性能と効率のバランスにおいて最良の妥協点を示し、ほとんどの場合で単変量リーフやより大きなリーフサイズを上回った。
• GasSenHデータセットではやや大きなリーフサイズ（例：2〜3変数）が性能向上に寄与したが、Powerデータセットでは単変量リーフが最良の結果を示し、データセットに応じた最適な設定があることが示された。
• MSDおよびNetworkデータセットでは、さまざまなしきい値において安定した尤度性能を示し、高次元設定においても堅牢であることが示された。