[論文レビュー] Learning Arithmetic Circuits

Daniel Lowd, Pedro Domingos|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用数 70

ひとこと要約

この論文では、推論の効率を直接最適化するために、回路サイズに対するペナルティを導入した算術回路の学習を提案している。ベイジアンネットワークの学習と回路コンパイルを統合することで、推論コストの代理指標として回路サイズを用いる。この手法により、推論に優れた性能を示す高木幅の扱いやすいモデルが学習可能となり、標準的な文脈特化型ベイジアンネットワークよりも精度と速度で優れる。

ABSTRACT

Graphical models are usually learned without regard to the cost of doing inference with them. As a result, even if a good model is learned, it may perform poorly at prediction, because it requires approximate inference. We propose an alternative: learning models with a score function that directly penalizes the cost of inference. Specifically, we learn arithmetic circuits with a penalty on the number of edges in the circuit (in which the cost of inference is linear). Our algorithm is equivalent to learning a Bayesian network with context-specific independence by greedily splitting conditional distributions, at each step scoring the candidates by compiling the resulting network into an arithmetic circuit, and using its size as the penalty. We show how this can be done efficiently, without compiling a circuit from scratch for each candidate. Experiments on several real-world domains show that our algorithm is able to learn tractable models with very large treewidth, and yields more accurate predictions than a standard context-specific Bayesian network learner, in far less time.

研究の動機と目的

• 学習されたグラフィカルモデルの推論の非効率性に、モデルが正確であっても対処する。
• モデルの複雑さをペナルティ化することで、直接的に扱いやすい推論を最適化する学習フレームワークを開発する。
• 構造選択を支援するために、回路コンパイルを学習プロセスに統合する。
• 推論が扱いやすいまま、高木幅のモデルのスケーラブルな学習を可能にする。
• 精度と実行時間の両面で、標準的な文脈特化型ベイジアンネットワーク学習者を上回る。

提案手法

• モデルの尤度と算術回路内のエッジ数に対するペナルティを組み合わせたスコア関数を用いる。
• 各学習ステップで、条件付き分布の候補の分割が、それらが生成するベイジアンネットワークを算術回路にコンパイルすることで評価される。
• コンパイルされた回路のサイズを推論コストの代理指標として用い、グリーディな構造探索をガイドする。
• 各候補について完全な再コンパイルを回避するため、回路構造を段階的に更新する。
• 算術回路における推論コストがエッジ数に線形に依存することを利用している。
• グリーディなベイジアンネットワーク学習と回路コンパイルを統合し、モデルの適合度と扱いやすさのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 正確かつ推論が効率的なグラフィカルモデルを学習できるか？
• RQ2 推論コストをモデル学習プロセスに直接組み込む方法は何か？
• RQ3 構造学習において、回路サイズを推論複雑度の有効な代理指標として用いることができるか？
• RQ4 学習に回路コンパイルを統合することで、標準的なベイジアンネットワーク学習者よりも優れた性能が得られるか？
• RQ5 高木幅のモデルにスケーリングしながらも、扱いやすさを維持できるか？

主な発見

• 提案手法は、標準的な文脈特化型ベイジアンネットワーク学習者よりも顕著に高い木幅の算術回路を学習する。
• 実世界のデータセットにおいて、ベースラインのベイジアンネットワーク学習者よりも高い予測精度を達成する。
• 標準的な文脈特化型ベイジアンネットワーク学習アルゴリズムよりも、桁違いに高速に実行される。
• 回路サイズをペナルティとして用いることで、モデルの適合度と推論効率のバランスが効果的にとれる。
• 段階的コンパイル技術により、完全な再コンパイルなしに候補構造の効率的評価が可能になる。
• 実験的結果により、本手法が良好にスケーリングされ、実世界の応用に適した扱いやすいモデルを生成することが確認された。