[論文レビュー] Tensor Variable Elimination for Plated Factor Graphs

Fritz Obermeyer, Eli Bingham+5 more|arXiv (Cornell University)|Feb 8, 2019

Tensor decomposition and applications被引用数 7

ひとこと要約

この論文は、プレートを用いて繰り返し構造を明示的にエンコードする、要因グラフの一般化であるプレーテッド要因グラフを導入し、この構造を活用して効率的な正確な推論を実現するテンソル変数消去アルゴリズムを提案する。この手法により、プレートのサイズに基づく複雑さの上限を導出することで、同様に独立な変数が多数存在するモデルにおける取り扱い可能な推論が可能となり、Pyro確率的プログラミング言語に統合され、離散的潜在変数モデルにおけるスケーラブルで正確な推論が実現される。

ABSTRACT

A wide class of machine learning algorithms can be reduced to variable elimination on factor graphs. While factor graphs provide a unifying notation for these algorithms, they do not provide a compact way to express repeated structure when compared to plate diagrams for directed graphical models. To exploit efficient tensor algebra in graphs with plates of variables, we generalize undirected factor graphs to plated factor graphs and variable elimination to a tensor variable elimination algorithm that operates directly on plated factor graphs. Moreover, we generalize complexity bounds based on treewidth and characterize the class of plated factor graphs for which inference is tractable. As an application, we integrate tensor variable elimination into the Pyro probabilistic programming language to enable exact inference in discrete latent variable models with repeated structure. We validate our methods with experiments on both directed and undirected graphical models, including applications to polyphonic music modeling, animal movement modeling, and latent sentiment analysis.

研究の動機と目的

• 標準の要因グラフでは繰り返し構造をコンactに表現できないことによる、変数消去における最適化の制限を解消すること。
• テンソル代数を用いてプレーテッド要因グラフ上で直接動作するように、変数消去を一般化して効率的な計算を実現すること。
• プレートのサイズに依存する推論の複雑さの上限を導出し、推論が取り扱える範囲を特定すること。
• Pyro確率的プログラミング言語への統合を通じて、i.i.d. 構造を有する離散的潜在変数モデルにおいて、効率的かつ正確な推論を可能にすること。

提案手法

• プレートの注釈を含む、無向要因グラフの拡張としてプレーテッド要因グラフを定義する。
• テンソル変数消去を導入し、要因グラフ上でテンソルの縮約を用いて実行する、和積変数消去の一般化である。
• einsumスタイルの演算を含むテンソル縮約プリミティブを活用し、プレート全体にわたる並列でのメッセージ伝達と変数消去を実現する。
• 変数消去後にプレート次元を畳み込むために積集合削減演算を用い、正しさを保持するとともに、効率的な計算を可能にする。
• プレートの独立性を尊重するスケジューリングアルゴリズムを開発し、変数消去ステップの並列実行を可能にする。
• Pyroにおける`pyro.plate`コンテキストマネージャーを介してアルゴリズムを統合し、ユーザーがプレーテッドモデルを記述し、手動の最適化なしにテンソルベースの消去により正確な推論を実行できるようにする。

実験結果

リサーチクエスチョン

• RQ1 プレートを用いて繰り返し構造を明示的に表現できるように要因グラフを一般化することは可能か？ これにより推論がより効率的になるか？
• RQ2 テンソル代数をどのようにしてプレーテッド要因グラフ上で直接変数消去に応用できるか？ これにより効率性と正しさが保たれるか？
• RQ3 プレーテッド要因グラフにおける推論の複雑さの上限は何か？ そしてプレートのサイズにどのように依存するか？
• RQ4 構造的性質に基づいて、プレーテッド要因グラフにおける推論の取り扱い可能領域と非取り扱い可能領域を特定できるか？
• RQ5 このフレームワークを確率的プログラミング言語に統合することで、大規模なi.i.d. 構造を有するモデルにおける正確な推論を可能にできるか？

主な発見

• 提案されたテンソル変数消去アルゴリズムは、効率的なテンソル縮約を用いてプレートの独立性を活用することで、繰り返し構造を有する離散的潜在変数モデルにおける正確な推論を実現する。
• 特にプレートサイズが大きいモデルでは、アンロールドされた要因グラフに標準的な変数消去を単純に適用するのと比較して、顕著な計算コストの削減が達成される。
• プレートサイズに基づく複雑さの上限が導出され、プレート間の高次元の相互作用を避ける構造的性質がある場合、推論が取り扱える範囲に保たれることを示している。
• Pyroへの統合により、ユーザーは`pyro.plate`構文を用いてモデルを記述し、手動の最適化なしにテンソルベースの変数消去による正確な推論を実行できる。
• ポリフォニック音楽モデリング、動物の動き、センチメント分析の実験により、構造的で繰り返しのあるデータを有する現実世界の問題において、本手法の有効性とスケーラビリティが実証された。
• フレームワークは、条件付きランダムフィールドやベイジアンネットワークを含む、有向および無向のグラフィカルモデルをプレーテッド要因グラフとして表現することで、両方をサポートする。