[論文レビュー] Generalized Collective Inference with Symmetric Clique Potentials

Rahul Gupta, Sunita Sarawagi+1 more|ArXiv.org|Jul 3, 2009

Advanced Graph Neural Networks参考文献 23被引用数 3

ひとこと要約

本稿では、複数のMRFにまたがる複雑で分解可能な性質に関する一貫性を、対称的クライーク項を用いて強制する一般化された集合的推論フレームワークを提案する。これにより、より正確な連合ラベル付けが可能になる。性質に特化したメッセージスティングと、さまざまな対称的項に対する正確/近似アルゴリズムを導入し、TRW-S やグラフカットなどの最先端手法よりも高速かつ正確な推論を達成している。特にPotts項や多数決項において顕著な性能向上を示している。

ABSTRACT

Collective graphical models exploit inter-instance associative dependence to output more accurate labelings. However existing models support very limited kind of associativity which restricts accuracy gains. This paper makes two major contributions. First, we propose a general collective inference framework that biases data instances to agree on a set of {\em properties} of their labelings. Agreement is encouraged through symmetric clique potentials. We show that rich properties leads to bigger gains, and present a systematic inference procedure for a large class of such properties. The procedure performs message passing on the cluster graph, where property-aware messages are computed with cluster specific algorithms. This provides an inference-only solution for domain adaptation. Our experiments on bibliographic information extraction illustrate significant test error reduction over unseen domains. Our second major contribution consists of algorithms for computing outgoing messages from clique clusters with symmetric clique potentials. Our algorithms are exact for arbitrary symmetric potentials on binary labels and for max-like and majority-like potentials on multiple labels. For majority potentials, we also provide an efficient Lagrangian Relaxation based algorithm that compares favorably with the exact algorithm. We present a 13/15-approximation algorithm for the NP-hard Potts potential, with runtime sub-quadratic in the clique size. In contrast, the best known previous guarantee for graphs with Potts potentials is only 1/2. We empirically show that our method for Potts potentials is an order of magnitude faster than the best alternatives, and our Lagrangian Relaxation based algorithm for majority potentials beats the best applicable heuristic -- ICM.

研究の動機と目的

• 繰り返し出現する語のラベルが同一であるといった単純な関連性のみをサポートする既存の集合的モデルの制限を解消する。
• ラベル付けの複雑で分解可能な性質に関する、より豊かなインスタンス間の一貫性を促進するフレームワークを導入する。
• 対称的クライーク項に特化した効率的推論アルゴリズム（正確および近似手法を含む）を開発する。
• 未観測ドメインにおける文献的情報抽出を含むドメイン適応タスクにおいて、フレームワークの有効性を示す。
• スケーラブルでメッセージスティングに基づく推論手順を提供し、計算が tractable になるように性質に特化したクラスタ更新を活用する。

提案手法

• 複数のMRFにまたがる分解可能な性質に関する一貫性を、対称的クライーク項を用いて強制する一般化された集合的推論フレームワークを提案する。
• 性質の値に基づくセパレータ変数を有するクラスタグラフを定義し、メッセージスティングによる連合MAP推論を可能にする。
• 性質に特化したメッセージスティングを設計：MRFクラスタ内でのメッセージを、性質固有の制約を反映するように変更し、クラスタ固有のアルゴリズムを用いる。
• 2値および多値ラベル設定における基数に基づく、最大値に類似した、多数決に類似した項に対して、正確な組合せ的アルゴリズムを開発する。
• 多数決項に対して、ラグランジュ緩和に基づくアルゴリズムを提案。これは、既存のヒューリスティクス（例：ICM）よりも効率的かつ正確である。
• Potts項に対しては、13/15のタイトな近似保証と、クライークサイズに対して準2乗時間のαパスアルゴリズムを提案。

実験結果

リサーチクエスチョン

• RQ1 単純なラベル再現性を越えて、複雑で非自明な関連性性質をサポートする一般化された集合的推論フレームワークを設計できるか？
• RQ2 特に多数決やPotts項のような非自明な性質に対して、対称的クライーク項の正確かつ効率的な推論をどのように達成できるか？
• RQ3 性質に特化したメッセージスティングは、構造予測タスクにおいて、標準的な信念伝播よりも正確かつ高速に動作するか？
• RQ4 提案フレームワークは、ドメイン適応のシナリオにおいて、一般化性能をどの程度向上させるか？
• RQ5 Pottsのような複雑な項に対する近似アルゴリズムは、既存の手法と比較して、正確性、実行時間、近似保証のトレードオフにおいて優れているか？

主な発見

• ドメイン適応タスクにおいて、提案フレームワークは顕著なテスト誤差低減を達成し、Addressデータセットでは最大82.2%のトークン-F1、Coraでは89.6%を達成した（多数決項を用いた場合）。
• Potts項では、αパスアルゴリズムが13/15の近似保証を達成し、クライークサイズに対して準2乗時間で実行され、TRW-S やグラフカット手法を精度および速度の両面で上回った。
• 多数決項に対するラグランジュ緩和ベースのアルゴリズムは、正確な推論よりも2桁速く、複数のシナリオでICMヒューリスティクスを上回った。
• CI（集合的推論）は1イタレーションで最適な正確性に到達するが、TRW-Sは約20イタレーションを要するため、正確性の1単位あたりの速度で約1桁速い。
• フレームワークは、モデルの再トレーニングを必要とせず、対称的項による性質適合が推論のみで有効なドメイン適応ソリューションを提供することを示した。
• 実験的比較により、多数決項を用いた集合的推論は、Pottsベースの手法やスタッキングベースラインを常に上回り、特に未観測ドメインにおいて顕著な優位性を示した。