[論文レビュー] A Minimalistic Approach to Sum-Product Network Learning for Real Applications

Viktoriya Krakovna, Moshe Looks|arXiv (Cornell University)|Feb 12, 2016

Bayesian Modeling and Causal Inference参考文献 7被引用数 3

ひとこと要約

この論文では、欠損データや異種特徴を扱える、GoogleのKnowledge Graphのような実世界の応用で一般的なSum-Product Network (SPN) 学習のための、LearnSPNアルゴリズムの簡素化・高速化されたバージョンであるMiniSPNを紹介する。MiniSPNは、複雑なクラスタリングの代わりにグリーディな2クラスタ分割を採用することで、ハイパーパrameterチューニングやEMリスタートを排除し、実行時間の大幅な短縮を実現しながらも、ベンチマークおよび実世界のデータセットにおいて競争力のある性能を達成する。

ABSTRACT

Sum-Product Networks (SPNs) are a class of expressive yet tractable hierarchical graphical models. LearnSPN is a structure learning algorithm for SPNs that uses hierarchical co-clustering to simultaneously identifying similar entities and similar features. The original LearnSPN algorithm assumes that all the variables are discrete and there is no missing data. We introduce a practical, simplified version of LearnSPN, MiniSPN, that runs faster and can handle missing data and heterogeneous features common in real applications. We demonstrate the performance of MiniSPN on standard benchmark datasets and on two datasets from Google's Knowledge Graph exhibiting high missingness rates and a mix of discrete and continuous features.

研究の動機と目的

• 現実世界の応用では現実的でない、完全に観測済みの離散データを仮定する既存のSPN学習アルゴリズムの制限を解消すること。
• 高い欠損率と混合離散／連続特徴を有するデータセットにおけるSPN構造学習の効率性と実用性を向上させること。
• 計算コストを低減しながらも、予測性能を維持または向上させるLearnSPNの最小限の代替手法を開発すること。
• GoogleのKnowledge Graphのような大規模で不整なデータセットにおけるスケーラブルで頑健なSPN学習を可能にすること。

提案手法

• 複雑なEMベースのクラスタリングを、EMリスタートやクラスタペナルティハイパーパrameterを必要としないグリーディな2クラスタ分割戦略に置き換える。
• データスライス内の中央値分割を用いた遅延バイナリビニングを連続変数に適用し、事前の離散化なしに連続特徴を処理可能にする。
• 欠損でないデータサブセットにおける独立性検定を用いた変数パーティショニングを実施し、しきい値ベースの独立性基準を採用する。
• インスタンスクラスタリング段階での分割意思決定を、検証セットの尤度に基づいて行い、2クラスタモデルを単一クラスタモデルよりも優先する。
• クラスタ数に対する指数的事前分布を排除し、グリッドサーチへの依存度を低めることで、モデル学習プロセスを簡素化する。
• 簡素化されたクラスタリングを再帰的パーティショニングと統合し、推論の tractability とSPN構造の構築を保証する。

実験結果

リサーチクエスチョン

• RQ1 簡素化されたSPN学習アルゴリズムは、実行時間と複雑さを大幅に削減しながらも、競争力のある性能を維持できるか？
• RQ2 MiniSPNは、高い欠損率と混合特徴タイプを有する実世界データセットにおいて、既存のSPN学習手法と比較してどの程度の性能を示すか？
• RQ3 クラスタリングにおけるEMリスタートとハイパーパrameterチューニングの排除が、モデル品質や一般化性能に悪影響を及えるか？
• RQ4 連続変数の遅延離散化が、情報の保持にどの程度寄与し、不完全なデータにおける学習を改善するか？

主な発見

• Google Knowledge Graphデータセットでは、MiniSPNはパラメータ最適化ベースライン（Pareto）よりも優れたテスト尤度を達成し、HybridおよびLearnSPNの性能を同等または上回った。
• Professions-10Kでは0.4秒、Professions-100Kでは7.2秒の実行時間にまで短縮されたのに対し、Paretoはそれぞれ5.3秒および72秒を要した。高欠損率のすべてのKGデータセットにおいて10秒未満の実行時間であった。
• 計算コストが最も高いベンチマークであるNewsgroupでは、MiniSPNは2分で完了したが、LearnSPNは8時間を要し、240倍の高速化が達成された。
• 20の標準ベンチマークデータセットにおいて、MiniSPNは尤度の観点でLearnSPNと同等またはわずかに上回り、実行時間は最大20倍短縮された。
• グリーディな2クラスタ分割戦略は、すべてのテストデータセットで、より複雑なLearnSPNのクラスタリング手法を速度と尤度の両面で上回った。
• MiniSPNは、欠損率が最大95％に達するデータセット（例：Dates-100K）を正常に処理でき、テスト尤度-16.5を達成した。これはPareto（-17.1）とHybrid（-16.7）を上回った。