[論文レビュー] Strudel: Learning Structured-Decomposable Probabilistic Circuits

Meihua Dang, Antonio Vergari+1 more|arXiv (Cornell University)|Jul 18, 2020

Bayesian Modeling and Causal Inference参考文献 33被引用数 6

ひとこと要約

Strudel は、混合成分間の決定性と共有計算グラフを活用することで、構造的分解可能な確率的回路（PC）の高速かつ高精度でスケーラブルな学習アルゴリズムを提案する。単一PCおよびアンサンブル学習の両方において、LearnPsdd より優れた性能を発揮し、著しく短縮された学習時間と、混合尤度計算における桁違いの高速化を達成する。

ABSTRACT

Probabilistic circuits (PCs) represent a probability distribution as a computational graph. Enforcing structural properties on these graphs guarantees that several inference scenarios become tractable. Among these properties, structured decomposability is a particularly appealing one: it enables the efficient and exact computations of the probability of complex logical formulas, and can be used to reason about the expected output of certain predictive models under missing data. This paper proposes Strudel, a simple, fast and accurate learning algorithm for structured-decomposable PCs. Compared to prior work for learning structured-decomposable PCs, Strudel delivers more accurate single PC models in fewer iterations, and dramatically scales learning when building ensembles of PCs. It achieves this scalability by exploiting another structural property of PCs, called determinism, and by sharing the same computational graph across mixture components. We show these advantages on standard density estimation benchmarks and challenging inference scenarios.

研究の動機と目的

• 複雑なクエリに対する tractable 推論を可能にする構造的分解可能な確率的回路（PC）のための、効率的かつ高精度な学習アルゴリズムの不足を解消すること。
• LearnPsdd などの既存手法が局所探索に高コストを要し、vtree 学習を回路学習とは別個に処理するためのスケーラビリティと非効率性を克服すること。
• 決定性と共有計算構造を活用することで、単一PCおよび大規模なPCアンサンブルの両方を高速かつ高精度に学習すること。
• 共有構造を持つPC混合モデルが、著しく短縮された学習時間で高い精度を達成できることを示すこと。

提案手法

• 候補構造のペナルティ付き尤度スコアの評価ではなく、グリーディな回路成長戦略を採用することで、探索コストを著しく削減する。
• 構造的保証を持つ最も良い tractable 確率的モデルを用いてPC構造を初期化し、別個のvtree学習の必要性を回避する。
• 構造的分解可能性と決定性の両方を強制することで、推論の tractability を確保するとともに、モデルの表現力も維持する。
• 混合モデルでは、成分間で同じ計算グラフを共有することで、EM またはバギングを用いたEM（BEM）による効率的なパrameter学習を可能にする。
• 混合尤度計算に回路フロー手法を採用し、従来の評価手法に比べ最大4,591倍の高速化を達成する。
• 混合モデルのすべての成分で同じvtree構造を再利用することで、構造的一致性と計算効率を保証する。

実験結果

リサーチクエスチョン

• RQ1 精度を損なわずに、構造的分解可能な確率的回路のためのより単純で高速な学習アルゴリズムを設計できるか？
• RQ2 決定性と共有計算グラフの統合が、PCアンサンブル学習におけるスケーラビリティをどのように向上させるか？
• RQ3 標準ベンチマークにおいて、Strudel がLearnPsdd より尤度、学習時間、推論効率の点でどれほど優れているか？
• RQ4 Strudel で学習された共有構造を持つPC混合モデルは、低コストの学習オーバーヘッドを維持しながら高い精度を達成できるか？
• RQ5 Strudel で学習されたPCは、欠損データ下での期待予測を求めるような高度な確率的クエリに対して、どれほど効果的か？

主な発見

• Strudel は20個の標準的密度推定ベンチマークのうち16個でLearnPsdd より高い尤度を達成し、著しく速い収束を示す。
• Strudel のイテレーションは、LearnPsdd のそれよりも少なくとも1桁以上速く、少ないイテレーションで同等またはより優れた性能に到達する。
• 欠損データ下での期待予測の計算という挑戦的なタスクにおいて、Strudel およびそのアンサンブル版（Strudel-BEM）は中央値補完法を上回り、あらゆる欠損率においてRMSEを低減する。
• Strudel-EM は20のデータセットのうち15個でLearnPsdd-EM を上回り、Strudel-BEM は11個のデータセットでLearnPsdd-BEM を上回るが、Strudel の共有構造制約にもかかわらずである。
• 混合尤度計算に用いる回路フロー手法は、従来の評価手法に比べ最大4,591倍高速であり、大規模なPCアンサンブルの効率的学習を可能にする。
• Strudel は、成分間で同じ計算グラフを共有することで、PC混合モデルのスケーラブルな学習を実現し、独立した構造学習と比較して著しく短縮された学習時間を実現する。