[論文レビュー] Probabilistic Generating Circuits

Honghua Zhang, Brendan Juba+1 more|arXiv (Cornell University)|Feb 19, 2021

Bayesian Modeling and Causal Inference参考文献 43被引用数 4

ひとこと要約

本稿では、確率的生成多項式を符号化した有向無閉路回路として表現される確率分布を表す、新しい tractable な確率的モデルである確率的生成回路（PGCs）を紹介する。PGCs は効率的な周辺化推論を可能にし、和積ネットワークや行列式点過程よりも厳密に表現力が強く、いくつかのベンチマークで最先端の密度推定性能を達成するとともに、強いレイリー分布と関連している。

ABSTRACT

Generating functions, which are widely used in combinatorics and probability theory, encode function values into the coefficients of a polynomial. In this paper, we explore their use as a tractable probabilistic model, and propose probabilistic generating circuits (PGCs) for their efficient representation. PGCs are strictly more expressive efficient than many existing tractable probabilistic models, including determinantal point processes (DPPs), probabilistic circuits (PCs) such as sum-product networks, and tractable graphical models. We contend that PGCs are not just a theoretical framework that unifies vastly different existing models, but also show great potential in modeling realistic data. We exhibit a simple class of PGCs that are not trivially subsumed by simple combinations of PCs and DPPs, and obtain competitive performance on a suite of density estimation benchmarks. We also highlight PGCs' connection to the theory of strongly Rayleigh distributions.

研究の動機と目的

• 確率的モデルのスケーリングを図りながら、 tractable な推論を維持する挑戦に応えること。
• 和積ネットワークや DPP ような既存のモデルよりも厳密に表現力が強い tractable な確率的モデルのクラスが存在するかを調査すること。
• 確率論における生成多項式と実用的な確率的機械学習の間のギャップを埋めること。
• PGCs が PC や DPP の組み合わせでは表現できない複雑な分布を表現できることを示すこと。

提案手法

• 確率の割り当て確率が係数に符号化された、確率的生成多項式を用いて確率分布を表現する。
• 生成多項式を有向無閉路回路（PGC）として圧縮し、効率的な計算を可能にする。
• 多項式評価と係数の和集合を用いた、周辺確率計算の効率的アルゴリズムを開発する。
• 生成多項式の代数的構造を活用し、既存のモデルを上回る tractable な推論と表現力を実現する。
• PGCs と強いレイリー分布との関係を確立し、スパニングツリー分布やスパニングフォレスト分布を含む。
• 核ベースの表現（例：Lβ と Kβ）を用いて PGC を DPP と結びつけ、表現力の高さを示す。

実験結果

リサーチクエスチョン

• RQ1 和積ネットワークや DPP ような既存のモデルよりも厳密に表現力が強い tractable な確率的モデルが存在するか？
• RQ2 生成多項式を機械学習における tractable な確率的推論の実用的表現として使用できるか？
• RQ3 スパニングツリー分布のような自然な分布クラスは、PC や DPP では表現できないが、PGCs によって効率的に表現可能か？
• RQ4 PGCs と強いレイリー分布との関係は何か？
• RQ5 PGCs は標準的な密度推定ベンチマークで競争力のある性能を達成できるか？

主な発見

• PGCs は、分解可能確率的回路や行列式点過程よりも厳密に表現力が強く、それらの組み合わせではカバーされない単純なクラスに対しても同様である。
• 最も単純な PGC は、テストされた密度推定ベンチマークの半数以上で、他の tractable な確率的モデルを上回る性能を示した。
• 核ベースの定式化（例：マージナル核 Kβ と割り当て核 Lβ）を用いて、PGCs が行列式点過程を効率的に表現できることを示した。
• 重み付きラプラシアンと行列ツリー定理を用いて、PGCs がスパニングツリー分布を表現できることを示し、強いレイリー分布への有用性を裏付けた。
• PGCs は生成多項式構造を通じて、強いレイリー分布の理論（イジングモデルや指数化された強いレイリー族を含む）と関連づけられることを確立した。
• 本稿では、PGCs が効率的な周辺化推論をサポートしており、現在のモデルをはるかに超える新しい tractable 推論クラスの開拓に道を開いた。