[論文レビュー] Rapidly Mixing Gibbs Sampling for a Class of Factor Graphs Using Hierarchy Width

Christopher De, Ce Zhang+2 more|PubMed|Oct 2, 2015

Complex Network Analysis Techniques参考文献 28被引用数 16

ひとこと要約

本稿では、重みが有界な因子グラフにおけるギブスサンプリングの多項式時間混合を保証する新しいグラフ特性「階層幅（hierarchy width）」を導入する。階層的因子グラフテンプレート（関係的・確率的モデリングで一般的）は、データに依存せずに有界な階層幅を持つことが証明されており、これにより、人間のアノテーターを上回る性能を示す自然言語処理タスクにおいて、理論的にも高速な混合と高い精度を達成できる。

ABSTRACT

Gibbs sampling on factor graphs is a widely used inference technique, which often produces good empirical results. Theoretical guarantees for its performance are weak: even for tree structured graphs, the mixing time of Gibbs may be exponential in the number of variables. To help understand the behavior of Gibbs sampling, we introduce a new (hyper)graph property, called <i>hierarchy width</i>. We show that under suitable conditions on the weights, bounded hierarchy width ensures polynomial mixing time. Our study of hierarchy width is in part motivated by a class of factor graph templates, <i>hierarchical templates</i>, which have bounded hierarchy width-regardless of the data used to instantiate them. We demonstrate a rich application from natural language processing in which Gibbs sampling provably mixes rapidly and achieves accuracy that exceeds human volunteers.

研究の動機と目的

• 実践的システムにおけるギブスサンプリングの性能に理論的保証が欠けている現状を是正すること。
• 従来の幅パラメータ（例：ハイパツリー幅）を超える因子グラフの構造的性質を同定し、ギブスサンプリングの高速混合を保証すること。
• テンプレート化された階層的モデルにおけるギブスサンプリングの tractability を捉える新しい理論枠組み「階層幅」を構築すること。
• 階層的因子グラフテンプレートが、データに依存せずに有界な階層幅を持つこと、したがって多項式時間での混合が保証されることを示すこと。
• 実世界のNLP応用を通じて理論を検証し、ギブスサンプリングが人間のアノテーターを上回り、多項式時間で混合することを実証すること。

提案手法

• 因子グラフの階層的分解に基づき、ハイパーグラフに対する新しい幅パラメータとして「階層幅」を定義する。
• 有界な階層幅と有界な因子重みが、ギブスサンプリングの多項式時間混合を保証することを証明する。
• 階層的因子グラフテンプレートを、データのインスタンスにかかわらず階層幅が有界であるモデルのクラスとして定義する。
• 因子グラフのライングラフの木深さを用いて階層幅を特徴づけ、幅パラメータの効率的計算を可能にする。
• テンプレートからインスタンス化された因子グラフに対して、共有されるヘッド変数の割り当てに基づいてノードを整理することで、階層分解を構築する。
• 既知の木深さ計算アルゴリズムを活用し、階層幅の境界を効率的に検証する。

実験結果

リサーチクエスチョン

• RQ1 ハイパツリー幅を超える因子グラフの構造的性質を同定し、ギブスサンプリングの高速混合を保証できるか？
• RQ2 一般的な因子グラフテンプレートの階層的構造が、本質的に効率的なギブスサンプリングを保証するか？
• RQ3 階層幅は効率的に計算可能か？ また、多項式時間混合のための tractable 条件を提供するか？
• RQ4 テンプレート化されたモデルにギブスサンプリングを適用する実世界の応用が、この新しい枠組みのもとで理論的保証の恩恵を受けるか？
• RQ5 ギブスサンプリングが多項式時間で混合し、人間の専門家を上回る性能を達成するモデルを構築できるか？

主な発見

• 階層幅はハイパツリー幅よりも強い条件であり、因子重みが有界であれば、ギブスサンプリングの多項式時間混合を保証する。
• 階層的因子グラフテンプレートでは、データセットに依存せずに階層幅が有界であり、すべてのインスタンスに対して多項式時間での混合が保証される。
• 因子グラフのライングラフの木深さは、その階層幅に等しく、幅パラメータの効率的計算を可能にする。
• 実験的検証により、階層的テンプレートに基づくギブスサンプリングシステムが、複雑なテキスト抽出タスクで人間のボランティアを上回ることを示した。
• 理論的分析により、混合時間は変数の数に対して多項式的であり、その境界は階層幅と最大因子重みに依存することが確認された。
• この枠組みは、 tractable Markov logic や確率的データベースにおける「安全な計画（safe plans）」のサンプリング版を提供し、実用的推論システムへの理論的保証を拡張した。