[論文レビュー] Augur: a Modeling Language for Data-Parallel Probabilistic Inference

Jean-Baptiste Tristan, Daniel Huang+4 more|arXiv (Cornell University)|Dec 12, 2013

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

Augurは、ベイジアンネットワークのための確率的プログラミング言語およびコンパイラであり、GPUアーキテクチャをターゲットに、高度に最適化されたデータ並列推論コードを自動生成する。条件付き独立性と記号的中間表現を活用することで、LDA やガウス混合モデルのようなモデルを、データサイズの増加に伴う実行時間とスケーラビリティの面で、手動で最適化された実装や他の確率的ツールを上回るスケーラブルなGPUカーネルにコンパイルする。

ABSTRACT

It is time-consuming and error-prone to implement inference procedures for each new probabilistic model. Probabilistic programming addresses this problem by allowing a user to specify the model and having a compiler automatically generate an inference procedure for it. For this approach to be practical, it is important to generate inference code that has reasonable performance. In this paper, we present a probabilistic programming language and compiler for Bayesian networks designed to make effective use of data-parallel architectures such as GPUs. Our language is fully integrated within the Scala programming language and benefits from tools such as IDE support, type-checking, and code completion. We show that the compiler can generate data-parallel inference code scalable to thousands of GPU cores by making use of the conditional independence relationships in the Bayesian network.

研究の動機と目的

• ベイジアンネットワークの推論を実装する際の高い複雑性とパフォーマンスボトルネックを解消するため、効率的で並列化された推論コードの自動生成を目的とする。
• モデル記述と推論実装の分離を実現することで、確率的プログラミングの実用的利用を可能にし、エラーの低減と開発時間の短縮を図る。
• 特にメトロポリス・ハスティングス法とギブスサンプリングにおいて、ベイジアンネットワーク内の条件付き独立性を自動で同定・活用することで、MCMCアルゴリズムにおけるデータ並列性を最大限に活かす。
• CUDAなどの手動最適化GPUコードと同等のパフォーマンスを達成しながら、新しい推論アルゴリズムへのモularityと拡張性を維持する。
• 例えば、数千のトピックと数百万のデータポイントを持つLDAのような大規模モデルに対しても、明示的なグラフィカルモデル構築ではなく記号的表現を用いることで推論をスケーラブルに拡大する。

提案手法

• AugurはScalaにおけるドメイン特化埋め込み言語を用い、マクロによる型安全性とIDEサポートを活用して、関数型スタイルで確率的モデルを記述する。
• モデルは、完全なグラフィカルモデルを構築せずに、分布構造の完全な記述を保持する記号的中間表現（IR）にコンパイルされる。これにより、効率的な解析と最適化が可能になる。
• IRを用いて、特にi.i.d.設定下で、データポイントおよびパラメータ間の条件付き独立性を同定することで、データ並列推論カーネルを自動的に導出する。
• コンパイラは、メトロポリス・ハスティングス法およびギブスサンプリング用のGPU最適化カーネルを生成し、各データポイントの独立性を活用して、数千のGPUコアにわたる大規模並列処理を実現する。
• システムはモジュラーな推論アルゴリズム統合をサポートしており、異なるMCMC手法間で解析と最適化を再利用可能である。
• メトロポリス・イン・ギブスサンプラーを含み、ハイブリッド推論戦略もサポートしているが、本論文では詳細が示されていない。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラミング言語は、ベイジアンネットワークのためのGPU上で効率的にスケーリングするデータ並列推論コードを自動生成できるか？
• RQ2 自動生成されたGPU推論コードのパフォーマンスは、手動最適化CUDAコードおよびStanやJAGSなどの他の確率的フレームワークと比べてどの程度か？
• RQ3 分布の記号的表現は、LDA や GMM のような大規模モデルにおいて、スケーラビリティの向上とメモリオーバーヘッドの低減にどの程度寄与するか？
• RQ4 データサイズおよびトピック数の増加に伴い、生成コードのパフォーマンスはどのように変化するか？
• RQ5 コンパイラは、メトロポリス・ハスティングス法やギブスサンプリングなどの複数の推論アルゴリズムを効率的かつモularityを保ちつつ効果的にサポートできるか？

主な発見

• Augurが生成するLDAにおけるギブスサンプリング用GPUコードは、手動最適化CUDA実装と同等のパフォーマンスを達成しており、256サンプル以上のサンプリングでは特に顕著である。
• ガウス混合モデルでは、Augurの実行時間はデータサイズの増加に伴いStanほど急激に増加せず、10万件を超えるデータポイントではJAGSを7倍の速度で上回る。
• Stanのパフォーマンスはデータサイズの増加に伴い著しく劣化し、10万件の実行を3時間未満で完了するが、Augurは効率的なスケーリングを維持する。
• トピック数の増加に対しても、Augurのパフォーマンスは安定的かつ効率的であり、Factorieのコラプスド・ギブスサンプラーとは異なり、トピック数の増加に伴い著しく劣化しない。
• Factorieのスパース実装では、予測確率が時間経過とともに低下するなど、不安定な挙動を示し、正しさに問題がある可能性を示唆している。
• 256サンプルを超えるとコンパイルオーバーヘッドが効果的に amortized され、中程度のサンプルサイズに対してもAugurは競争力を持つ。