[論文レビュー] Why is Compiling Lifted Inference into a Low-Level Language so Effective?

Seyed Mehran Kazemi, David Poole|arXiv (Cornell University)|Jun 14, 2016

Bayesian Modeling and Causal Inference参考文献 21被引用数 3

ひとこと要約

この論文は、LRC2CPPがデータ構造（WFOMC におけるものと同様）にコンパイルするのではなく、低レベルプログラムにコンパイルすることで、なぜオーダー・オブ・マグニチュードの高速化を達成できるかを調査している。主な高速化要因は、コンパイルと最適化の効率性に起因しており、コンパイルプロセス自体の高速化によるものではない。また、同じ論理的基盤を用いても、データ構造の解釈と比較して、プログラムのコンパイル実行がはるかに高速であることを確認している。

ABSTRACT

First-order knowledge compilation techniques have proven efficient for lifted inference. They compile a relational probability model into a target circuit on which many inference queries can be answered efficiently. Early methods used data structures as their target circuit. In our KR-2016 paper, we showed that compiling to a low-level program instead of a data structure offers orders of magnitude speedup, resulting in the state-of-the-art lifted inference technique. In this paper, we conduct experiments to address two questions regarding our KR-2016 results: 1- does the speedup come from more efficient compilation or more efficient reasoning with the target circuit?, and 2- why are low-level programs more efficient target circuits than data structures?

研究の動機と目的

• LRC2CPP が WFOMC よりも高速な理由が、コンパイルの高速化にあるのか、それともターゲット回路での推論の高速化にあるのかを特定すること。
• 低レベルプログラムを用いた推論が、データ構造を用いた推論よりも効率的である理由を調査すること。
• コンパイルと最適化によるプログラムの性能向上が、データ構造のインタプリタ実行よりも顕著な性能向上をもたらすという仮説を検証すること。
• 観察された性能向上における、コンパイルと最適化の寄与度を分離すること。

提案手法

• 著者たちは、人口サイズが異なる3つのマークフォック・ロジック・ネットワークベンチマークにおいて、LRC2CPP と WFOMC のエンド・ツー・エンド実行時間を比較した。
• 性能向上の原因を特定するために、合計時間をコンパイルフェーズと推論フェーズに分解した。
• LRC2CPP から生成された C++ プログラムを用い、3つの実行モード（-O3 最適化付きでコンパイル、最適化なしでコンパイル、Ch 7.5.3 を用いたインタプリタ実行）で推論性能を評価した。
• 同じ論理的モデルとクエリを用いて、これらの実行モードを WFOMC のデータ構造ベースの推論と比較した。
• 解釈とコンパイルの間、および最適化付きと最適化なしのコンパイルの間でのスピードアップ割合を測定した。
• 統計的分析を用いて、全体のスピードアップに寄与するコンパイルと最適化の相対的寄与度を定量化した。

実験結果

リサーチクエスチョン

• RQ1 LRC2CPP が WFOMC よりも優れている性能優位性は、主にコンパイルの高速化に起因するのか、それともターゲット回路での推論の高速化に起因するのか？
• RQ2 なぜ低レベルプログラムが、lifted 推論のターゲット回路としてデータ構造よりも効率的なのか？
• RQ3 スピードアップは、プログラムのコンパイルと最適化が可能であることに起因するのか、それともプログラム表現そのものの固有の性質に起因するのか？
• RQ4 コード最適化と比較して、プログラムのコンパイルが性能向上にどの程度貢献しているのか？
• RQ5 インタプリタ実行によるデータ構造とコンパイル実行によるプログラムの間の性能格差を、定量的に分離・測定できるか？

主な発見

• コンパイルフェーズの所要時間は、LRC2CPP と WFOMC でほぼ同一であり、高速化がより速いコンパイルに起因しているわけではないことが示された。
• 人口サイズが 5000 の場合、LRC2CPP のプログラムによる推論は、WFOMC のデータ構造による推論と比較して 163x の高速化を達成した。
• LRC2CPP から生成された C++ プログラムをインタプリタで実行した場合の実行時間は、WFOMC のデータ構造ベースの実行時間とほぼ同一であり、インタプリタが性能ボトルネックであることが確認された。
• LRC2CPP プログラムのコンパイルは、解釈と比較して平均 175x の高速化をもたらし、全体のスピードアップの 99.7% がコンパイルに起因していることが示された。
• 最適化付きコンパイルは、最適化なしのコンパイルと比較して平均 2.3x の高速化にとどまり、コンパイル自体に比べて影響は極めて小さいことが示された。
• 両アプローチの時間計算量は同一であり、性能差は漸近的計算量の違いではなく、定数要因に起因していることが示唆された。