[論文レビュー] OpenGM: A C++ Library for Discrete Graphical Models

Bjoern Andres, Thorsten Beier+1 more|arXiv (Cornell University)|Jun 1, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用数 79

ひとこと要約

OpenGM は、任意の要因グラフ、高次元要因、複数の関数符号化をサポートする C++ テンプレートライブラリであり、最先端のアルゴリズムを用いて効率的な推論を可能にする離散的グラフィカルモデル向けのものである。複数の半環、カスタム関数、繰り返し関数の効率的格納をモジュラーかつ拡張可能にサポートしており、強力な性能特性を備えた大規模最適化および推論タスクに適している。

ABSTRACT

OpenGM is a C++ template library for defining discrete graphical models and performing inference on these models, using a wide range of state-of-the-art algorithms. No restrictions are imposed on the factor graph to allow for higher-order factors and arbitrary neighborhood structures. Large models with repetitive structure are handled efficiently because (i) functions that occur repeatedly need to be stored only once, and (ii) distinct functions can be implemented differently, using different encodings alongside each other in the same model. Several parametric functions (e.g. metrics), sparse and dense value tables are provided and so is an interface for custom C++ code. Algorithms are separated by design from the representation of graphical models and are easily exchangeable. OpenGM, its algorithms, HDF5 file format and command line tools are modular and extendible.

研究の動機と目的

• 任意の要因グラフ構造と高次元要因をサポートする、柔軟で拡張可能な C++ ライブラリの開発を目的とする。
• 同じモデル内で異なる関数の符号化を可能にし、繰り返し関数を一度だけ格納することで、大規模モデルにおける効率的推論を実現する。
• 推論アルゴリズムとモデル表現を分離するモジュラーなアーキテクチャを提供し、アルゴリズムの交換や拡張を容易にする。
• 最適化、周辺化、制約充足のための幅広い半環（例：min-sum、sum-product、max-constraint）をサポートする。
• 標準化された HDF5 ファイル形式およびコマンドラインツールを通じて、モデルとアルゴリズムの交換と再現性を促進する。

提案手法

• グラフィカルモデルは、構文（関数識別子を伴う要因グラフ）と意味（ドメイン、演算、関数マッピング）の形式的数学的基盤に基づいて定義される。
• C++ テンプレートを用いて、実行時ではなくコンパイル時にデータ型、演算（例：min、sum）、関数符号化（例：密行列、パラメトリック Potts 関数）を選択可能にすることでパフォーマンスを向上させる。
• 関数は識別子ごとに一度だけ格納され、複数の要因で再利用されるため、繰り返し構造を有するモデルでのメモリ効率が向上する。
• 推論アルゴリズムは、明確なインターフェースを通じてモデルと相互作用する独立したクラスとして実装され、プラグイン拡張性を備える。
• 開発者向けのドキュメント化された拡張インターフェースを介して、カスタムアルゴリズム、パラメトリック関数、離散空間を追加可能である。
• メッセージパッシング（Loopy BP、TRW-S）、グラフカット（α-拡張、αβ-スワップ）、QPBO、正確な手法（ILP、ブランチアンドカット）など、幅広い推論手法をサポートする。

実験結果

リサーチクエスチョン

• RQ1 任意の要因グラフと高次元要因をサポートするが、モデル表現の表現力を制限しない C++ ライブラリの設計方法は何か？
• RQ2 大規模グラフィカルモデルにおいて、繰り返し関数の処理と混合関数符号化を効率的に行うために、どのようなアーキテクチャパターンが有効か？
• RQ3 推論アルゴリズムをモデル表現から分離することで、モジュラーで拡張可能かつ相互交換可能なアルゴリズム実装を実現するには、どのようなアーキテクチャが適しているか？
• RQ4 汎用的でテンプレートベースの C++ ライブラリは、MRF-lib のような高度に最適化された専用ライブラリと同等のパフォーマンスを達成できるか？
• RQ5 標準化されたファイル形式（HDF5）とコマンドラインツールを備えたモジュラーかつ拡張可能なライブラリは、モデルとアルゴリズムの再現性および交換性を促進できるか？

主な発見

• OpenGM は、任意の要因グラフと半環（min-sum（最適化）、sum-product（周辺化）、max-constraint（充足））をサポートしており、多様な推論タスクを統合的に処理できる。
• 繰り返し関数を一度だけ格納し、同じモデル内で異なる符号化（例：パラメトリック vs. 表形式）を共存可能にするため、高い効率性を実現している。
• グリッドグラフにおけるループ付きベイズ推論では、MRF-lib よりわずかに遅いが、一般の2次元要因に対しては MRF-lib より約2倍速い。
• 標準的なメトリクスでは、OpenGM は MRF-lib より約20倍遅いが、その性能の差は、より広範な一般性と拡張性を考慮すれば妥当である。
• ライブラリのモジュラー設計により、カスタムアルゴリズム、関数、データ型のシームレスな統合が可能であり、推論プロセスの監視と制御を可能にするビジターパターンも完全にサポートしている。
• OpenGM の HDF5 ファイル形式とコマンドラインツールは、モデルの永続化と相互運用性をサポートし、モデルとアルゴリズムの再利用および交換を促進している。