[論文レビュー] Accelerating Inference: towards a full Language, Compiler and Hardware stack

Shawn Hershey, Jeffrey G. Bernstein+5 more|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 2被引用数 14

ひとこと要約

本論文では、要因グラフとしてグラフィカルモデルを定義し、自動的に推論エンジンを導出できる、オープンソースのAPI「Dimple」を提示する。また、GP5と呼ばれる特殊なハードウェアアクセラレータのコンパイラとしても機能し、スパーステンソル演算とメッセージパッシングワークロードの最適化により、バイナリ画像のノイズ除去においてCPU推論と比較して最大3,200倍の高速化を達成する。

ABSTRACT

We introduce Dimple, a fully open-source API for probabilistic modeling. Dimple allows the user to specify probabilistic models in the form of graphical models, Bayesian networks, or factor graphs, and performs inference (by automatically deriving an inference engine from a variety of algorithms) on the model. Dimple also serves as a compiler for GP5, a hardware accelerator for inference.

研究の動機と目的

• 高水準な確率的モデリングと、ハードウェア最適化された効率的推論を統合するフルスタックのソフトウェア・ハードウェアパイプラインを提供すること。
• モデル定義から推論アルゴリズムを抽象化することで、複雑なベイジアンモデルのプロトタイピング時間を短縮すること。
• モジュラーで拡張可能なアーキテクチャを通じて、カスタム推論アルゴリズムとハードウェアアクセラレーションのシームレスな統合を可能にすること。
• スパースで高複雑度の要因テーブルに最適化された専用ASIC、GP5を用いて、離散的要因グラフの推論を高速化すること。
• Dimpleモデルを効率的なGP5マシン命令にマップするコンパイラスタックを提供し、遅延を最小限に抑え、スループットを最大化すること。

提案手法

• Dimpleは、モデル定義と推論エンジン選択を分離するモジュラーAPIを用いて、要因グラフとしてモデルを指定する。
• Sum-Product、Min-Sum、ギブスサンプリング、パーティクル信念伝播など、複数の推論アルゴリズムをサポートし、新しいソルバの拡張性も備える。
• GP5ハードウェアアクセラレータは、重み付きスパーステンソル内積と高次数の要因テーブルに最適化されており、256KBの要因キャッシュと18Gb/sのI/O帯域幅を備える。
• 特殊なコンパイラがDimpleモデルをGP5マシン命令に変換し、異種プロセッシングユニット間の複雑なメモリ割り当てとタイミング制約を処理する。
• 一部の確率的言語（例：Church）よりも、有限体変数やハード制約（例：パリティーチェック）をより自然に扱える。
• アーキテクチャにより、ミックスド・ソルバ戦略とカスタマイズ可能なメッセージパッシングスケジューリングが可能となり、アルゴリズムの柔軟性が向上する。

実験結果

リサーチクエスチョン

• RQ1 多様なグラフィカルモデルにわたる確率的推論を加速するための統合されたソフトウェア・ハードウェアスタックをどのように設計できるか？
• RQ2 Dimpleのような高水準モデリングAPIは、アルゴリズム表現力を損なわずに、専用ハードウェアへの効率的コンパイルを可能にするか？
• RQ3 要因グラフ推論のためのドメイン特化コンパイラとアクセラレータを共同設計することで、どの程度のパフォーマンス向上が達成できるか？
• RQ4 GP5アクセラレータのアーキテクチャは、実世界の推論ワークロードにおいて一般用途CPUよりも顕著な高速化を実現する仕組みは何か？
• RQ5 専用推論チップにおける低レベルのハードウェア命令に高水準モデルをマッピングする際の主なボトルネックは何か？

主な発見

• バイナリ画像のノイズ除去ベンチマークにおいて、GP5アクセラレータはIntel i7 CPUと比較して推定3,200倍の高速化を達成しており、これは最適化されたスパーステンソル演算と並列処理によるものである。
• ステレオビジョンベンチマークではGP5が100倍の高速化を達成したが、低次数の要因グラフではパフォーマンスがやや制限される。
• Dimple APIにより、ユーザーは推論アルゴリズムの選択に依存せずにモデルを定義でき、新しいソルバのプラグアンドプレイ統合が可能になる。
• GP5シミュレータは正確なパフォーマンス推定を提供し、命令レベルのプロファイリングを用いて計算ボトルネックを特定・緩和する。
• コンパイラスタックは、複雑なDimpleモデルをGP5命令に成功してマッピングし、異種プロセッシングユニット間での変数割り当てとタイミングのばらつきを処理した。
• Dimpleは有限体変数、ハード制約、k番目の最良近似など、Infer.NET や Church よりも特定のユースケースで優位性を発揮する高度な機能をサポートする。