[論文レビュー] Template Based Inference in Symmetric Relational Markov Random Fields

Ariel Jaimovich, Ofer Meshi+1 more|arXiv (Cornell University)|Jun 20, 2012

Bioinformatics and Genomic Networks参考文献 21被引用数 41

ひとこと要約

本稿では、対称的関係的マルコフ確率場（MRF）におけるテンプレートベースの推論手法を導入し、推論の計算複雑度をドメインサイズからモデルサイズに低減することで、効率的な学習を可能にする。内在する対称性を活用することで、同期的ループ付き信念伝播と数学的に同等のテンプレートレベル信念伝播を実行し、大規模なたんぱく質-たんぱく質相互作用ネットワークの学習において顕著な高速化を達成する。

ABSTRACT

Relational Markov Random Fields are a general and flexible framework for reasoning about the joint distribution over attributes of a large number of interacting entities. The main computational difficulty in learning such models is inference. Even when dealing with complete data, where one can summarize a large domain by sufficient statistics, learning requires one to compute the expectation of the sufficient statistics given different parameter choices. The typical solution to this problem is to resort to approximate inference procedures, such as loopy belief propagation. Although these procedures are quite efficient, they still require computation that is on the order of the number of interactions (or features) in the model. When learning a large relational model over a complex domain, even such approximations require unrealistic running time. In this paper we show that for a particular class of relational MRFs, which have inherent symmetry, we can perform the inference needed for learning procedures using a template-level belief propagation. This procedure's running time is proportional to the size of the relational model rather than the size of the domain. Moreover, we show that this computational procedure is equivalent to sychronous loopy belief propagation. This enables a dramatic speedup in inference and learning time. We use this procedure to learn relational MRFs for capturing the joint distribution of large protein-protein interaction networks.

研究の動機と目的

• 大規模な関係的MRFの学習における推論の高い計算コストに対処すること。
• 関係的MRFに内在する対称性を活用して、推論の複雑度を低減すること。
• 個々のインスタンスではなくテンプレート上で動作するスケーラブルな推論手法を開発すること。
• たんぱく質-たんぱく質相互作用ネットワークのような大規模ドメインにおける関係的MRFの実用的学習を可能にすること。
• テンプレートベースの推論が同期的ループ付き信念伝播と同等であることを示し、正しさを保ちつつ効率性を向上させること。

提案手法

• 本手法は、対称的構造を持つ関係的MRFフレームワークを採用し、相互作用を個々のエンティティではなくテンプレートによって定義する。
• メッセージを個々のノードではなく関係的テンプレート上で伝播するテンプレートレベル信念伝播を導入する。
• ドメイン全体にわたる対称性を捉えるコンact表現を用いて、十分統計量の期待値を計算する。
• 手続きは同期的ループ付き信念伝播と正式に同等であり、収束特性を保持する。
• 関係的モデルのテンプレート構造から導かれる簡略化された因子グラフ上で推論が行われる。
• 対称的相互作用を再利用可能な計算ユニットに集約することで、個々のインスタンスごとの計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 構造的対称性を活用することで、対称的関係的MRFにおける推論を高速化できるか？
• RQ2 テンプレートレベル信念伝播は、対称モデルにおいて標準的なループ付き信念伝播と同等か？
• RQ3 提案手法により、たんぱく質-たんぱく質相互作用ネットワークのような大規模関係的モデルの学習がスケーラブルに可能か？
• RQ4 対称的関係的MRFにおいて、推論の計算複雑度をドメインサイズからモデルサイズに低減できるか？
• RQ5 大規模関係的モデルにおいて、テンプレートベース推論は標準的な近似推論に比べてどの程度の性能向上を達成できるか？

主な発見

• テンプレートベース推論により、ドメインサイズからモデルサイズへの計算量の低減が達成され、顕著な高速化が実現される。
• 本手法は数学的に同期的ループ付き信念伝播と同等であり、正確性を保ちつつ効率性が向上する。
• 本アプローチにより、もともと非現実的だった大規模なたんぱく質-たんぱく質相互作用ネットワークにおける関係的MRFの実用的学習が可能になる。
• 推論の複雑度はドメイン内のエンティティ数ではなく、テンプレートおよび関係の数に比例して増加する。
• 標準的なループ付き信念伝播と同一の収束行動を維持するが、実行時間は著しく短縮される。
• 実験結果から、テンプレートベース手法は大規模関係的学習タスクにおいてスケーラブルかつ正確であることが示された。