[論文レビュー] Scalable Structure Learning for Probabilistic Soft Logic

Varun Embar, Dhanya Sridhar+2 more|arXiv (Cornell University)|Jul 3, 2018

Bayesian Modeling and Causal Inference参考文献 20被引用数 7

ひとこと要約

本稿では、確率的ソフト論理（PSL）のスケーラブルな構造学習手法を2つ提案する。1つは貪欲な探索に基づく手法であり、もう1つは新規の部分的偽尤度（PPLL）最適化手法である。PPLLは、並列更新を可能にする1回渡しの節重み最適化を実現することで、貪欲な探索の反復的重み学習とスコアリングのボトル neck を克服し、最大15%高いAUCと10倍速い実行時間を達成する。

ABSTRACT

Statistical relational frameworks such as Markov logic networks and probabilistic soft logic (PSL) encode model structure with weighted first-order logical clauses. Learning these clauses from data is referred to as structure learning. Structure learning alleviates the manual cost of specifying models. However, this benefit comes with high computational costs; structure learning typically requires an expensive search over the space of clauses which involves repeated optimization of clause weights. In this paper, we propose the first two approaches to structure learning for PSL. We introduce a greedy search-based algorithm and a novel optimization method that trade-off scalability and approximations to the structure learning problem in varying ways. The highly scalable optimization method combines data-driven generation of clauses with a piecewise pseudolikelihood (PPLL) objective that learns model structure by optimizing clause weights only once. We compare both methods across five real-world tasks, showing that PPLL achieves an order of magnitude runtime speedup and AUC gains up to 15% over greedy search.

研究の動機と目的

• 確率的ソフト論理（PSL）の構造学習問題を形式化すること。PSLには、これまでスケーラブルな手法が存在しなかった。
• PSLにおける構造学習の高い計算コストを解消すること。これは、繰り返しのパrameter推定とモデルスコアリングを含む。
• 反復的な重み学習とスコアリングの必要性を減らす、スケーラブルでデータ駆動型の節生成および最適化技術を開発すること。
• 提案手法の予測性能と実行時間効率を、多様な実世界のタスクにおいて評価すること。
• PPLLが、予測精度を維持または向上させながら、大規模な候補節集合に対しても効果的にスケーリングできることを示すこと。

提案手法

• 関係的ランダムウォークを用いて経路制約付きの節生成を行うことで、データから意味のあるパターンやモチーフを抽出し、節候補の作成に活用する。
• 反復的な重み学習とモデルスコアリングを通じて節を段階的に選択する貪欲な探索に基づく手法を提案する。
• 部分的偽尤度（PPLL）目的関数を構築し、節重みに対する1回渡しの最適化を可能にする凸なサロゲート関数を提供する。
• PPLLでは、並列化された最適化更新を採用することで収束を加速し、スケーラビリティを向上させる。
• データ駆動型でボトムアップなアプローチにより、候補節を生成することで、検索空間を意味的に意味のある関係的パターンに制限する。
• PPLL目的関数を通じてL1正則化を暗黙的に適用し、モデルの単純さと一般化性能を促進する。

実験結果

リサーチクエスチョン

• RQ1 PSLにおける構造学習のためのスケーラブルな手法を設計可能か。特に、重み学習とモデルスコアリングの高コストな入れ替えを回避できるか。
• RQ2 PPLLに基づく最適化手法の実行時間と予測精度は、貪欲な探索と比較してどの程度優れているか。
• RQ3 経路制約付きの節生成は、PSL構造学習における候補節の質と関連性をどの程度向上できるか。
• RQ4 PPLL目的関数は、マコフ論理ネットワークなどの他のSRLフレームワークへ一般化可能か。
• RQ5 PSL構造学習において、スケーラビリティと近似品質のトレードオフは何か。PPLLと貪欲な探索の比較による考察。

主な発見

• PPLLは、生物学的論文推薦や薬物相互作用予測を含む複数の実世界タスクにおいて、貪欲な探索手法よりも最大15%高いAUCを達成する。
• PPLLは、貪欲な探索と比較して実行時間を10倍短縮する。BookAuthorタスクにおいて、200個の候補節を持つモデルを4分で完了するが、貪欲な探索ではほぼ2日間を要する。
• PPLLは、候補節集合が200にまで拡大しても計算的に実行可能である一方、貪欲な探索は小さな節集合を超えると非現実的になる。
• PPLL目的関数により、節重みに対するスケーラブルで1回渡しの最適化が可能になり、繰り返しのパrameter推定とスコアリングのラウンドを排除できる。
• 経路制約付きの節生成とPPLL最適化の組み合わせにより、より高品質なモデルが得られ、一般化性能が向上し、トレーニングが高速化される。
• PPLLは、凸かつ微分可能であるため、マコフ論理ネットワークを含む他のSRLフレームワークへも一般化可能である。