[論文レビュー] The Sum-Product Theorem: A Foundation for Learning Tractable Models

Abram L. Friesen, Pedro Domingos|arXiv (Cornell University)|Nov 11, 2016

Bayesian Modeling and Causal Inference参考文献 42被引用数 8

ひとこと要約

本稿では、任意の半環における効率的推論を保証する統一的原則として、和積定理を導入する。この定理は、積に含まれる要因の変数スコープがすべて互いに素であることを要件としている。この条件を学習時に強制することで、表現力が高く、高木幅を持つモデル—例えば多項式時間で最適化可能な非凸関数—の学習が可能となり、最適化コストを無視する従来の学習手法に比べて顕著に優れた性能を発揮する。

ABSTRACT

Inference in expressive probabilistic models is generally intractable, which makes them difficult to learn and limits their applicability. Sum-product networks are a class of deep models where, surprisingly, inference remains tractable even when an arbitrary number of hidden layers are present. In this paper, we generalize this result to a much broader set of learning problems: all those where inference consists of summing a function over a semiring. This includes satisfiability, constraint satisfaction, optimization, integration, and others. In any semiring, for summation to be tractable it suffices that the factors of every product have disjoint scopes. This unifies and extends many previous results in the literature. Enforcing this condition at learning time thus ensures that the learned models are tractable. We illustrate the power and generality of this approach by applying it to a new type of structured prediction problem: learning a nonconvex function that can be globally optimized in polynomial time. We show empirically that this greatly outperforms the standard approach of learning without regard to the cost of optimization.

研究の動機と目的

• 確率的推論、制約充足、最適化、データベースクエリなど、多様な問題における効率的推論を統一的かつ一般化すること。
• 任意の半環における和集合の効率的計算のための最小かつ十分な条件を同定すること：積に含まれる要因のスコープが互いに素であること。
• 要因のスコープが互いに素である条件を強制することで、任意の半環において効率的表現を学習する一般化されたアルゴリズムを開発すること。
• 非凸関数を多項式時間でグローバルに最適化可能な構造的予測タスクという新しい課題に、本手法の有効性を示すこと。
• 既存の結果—例えば効率的マークフ・ロジックやSPN—が、提案された定理の系として導かれることが示されること。

提案手法

• 和積定理を提唱：半環上の和集合が、積に含まれるすべての要因の変数スコープが互いに素である場合に限り、効率的に計算可能である。
• 動的計画法を用いた一般化された推論アルゴリズムを定義し、スコープが互いに素な分解木上で任意の半環における和集合を計算する。
• 学習時にスコープが互いに素であることを強制することで、学習されたすべてのモデルが本質的に効率的であることを保証する学習アルゴリズムを開発する。
• 構造的予測に本フレームワークを適用し、非凸目的関数をより小さな、独立して最適化可能な部品に分解する最小和関数（MSF）を学習する。
• 相関とk-meansを用いた変数クラスタリングにより分解を誘導し、リーフノードはマルチスタートL-BFGSを用いて評価することで、学習された部分関数を模倣する。
• モデルの複雑さを制御し、過学習を回避するために、しきい値に基づくプルーニング戦略（しきい値t=30, v=2）を採用する。

実験結果

リサーチクエスチョン

• RQ1 和集合が半環上で定義されるあらゆる問題に還元される多様な問題において、一様な条件が効率的推論を保証できるか？
• RQ2 積に含まれる要因のスコープを互いに素にすることで、モデルの表現力や木幅に関係なく、任意の半環において効率的性が保証されるか？
• RQ3 この条件を用いて、多項式時間でグローバルに最適化可能な非凸関数を学習できるか？
• RQ4 最適化のコストを考慮しない従来のエンドツーエンド学習と比較して、効率的分解構造を学習することは、どのような利点をもたらすか？
• RQ5 確率的モデリングや制約充足分野における既存の結果—例えば効率的マークフ・ロジックやSPN—は、和積定理によってどのように包含されるか？

主な発見

• 和積定理により、任意の可換半環において、積に含まれる要因のスコープが互いに素であることは、和集合の効率的計算を保証する十分条件であることが示され、効率的推論の統一的基盤が確立された。
• 提案された学習アルゴリズムは、非常にマルチモーダルなテスト関数（Rastrigin関数の変種）の構造的分解を的確に捉え、効率的なグローバル最適化を可能にした。
• 学習された最小和関数（MSF）は、元の関数を直接最適化する手法よりも、同じ時間制約のもとではるかに低い最小値に到達した。
• 葉関数が完全に分かっている場合でさえ、最適化コストを考慮しない従来の学習手法に比べて、本手法は優れた最適化性能を発揮した。
• 本フレームワークは、従来の結果を一般化・簡略化し、効率的マークフ・ロジックや和積ネットワークの効率的性が、定理の系として自然に導かれることが示された。
• 実験的結果から、スコープが互いに素な部分関数を最適化する方法は、全関数を最適化する方法と比較して、探索するモードの数が指数関数的に減少し、グローバル最小値への収束が著しく速くなった。