[論文レビュー] Hinge-Loss Markov Random Fields and Probabilistic Soft Logic

Stephen H. Bach, Matthias Broecheler+2 more|arXiv (Cornell University)|May 17, 2015

Bayesian Modeling and Causal Inference参考文献 103被引用数 129

ひとこと要約

この論文は、ヘッジロスマークオフランダムフィールド（HL-MRFs）と、構造的データ向けのスケーラブルな確率的プログラミング言語である確率的ソフト論理（PSL）を導入する。ランダム化アルゴリズムからの凸最適化、局所的整合性緩和、ファジィ論理を統合することにより、HL-MRFsはヘッジロスの潜在変数を用いて、ADMMに基づくメッセージパッシングを介した効率的かつスケーラブルなMAP推論を可能にし、離散モデルと同等の精度を達成しながら、大規模な関係的データセットにもスケーリング可能である。

ABSTRACT

A fundamental challenge in developing high-impact machine learning technologies is balancing the need to model rich, structured domains with the ability to scale to big data. Many important problem areas are both richly structured and large scale, from social and biological networks, to knowledge graphs and the Web, to images, video, and natural language. In this paper, we introduce two new formalisms for modeling structured data, and show that they can both capture rich structure and scale to big data. The first, hinge-loss Markov random fields (HL-MRFs), is a new kind of probabilistic graphical model that generalizes different approaches to convex inference. We unite three approaches from the randomized algorithms, probabilistic graphical models, and fuzzy logic communities, showing that all three lead to the same inference objective. We then define HL-MRFs by generalizing this unified objective. The second new formalism, probabilistic soft logic (PSL), is a probabilistic programming language that makes HL-MRFs easy to define using a syntax based on first-order logic. We introduce an algorithm for inferring most-probable variable assignments (MAP inference) that is much more scalable than general-purpose convex optimization methods, because it uses message passing to take advantage of sparse dependency structures. We then show how to learn the parameters of HL-MRFs. The learned HL-MRFs are as accurate as analogous discrete models, but much more scalable. Together, these algorithms enable HL-MRFs and PSL to model rich, structured data at scales not previously possible.

研究の動機と目的

• 知識グラフ、ソーシャルネットワーク、自然言語などの豊富に構造化された大規模データをモデリングする際のスケーラビリティと表現力のトレードオフを解消すること。
• ランダム化MAX SATアルゴリズム、MRFにおける局所的整合性緩和、ファジィ論理という3つの異なる手法を、共通の凸最適化フレームワークに統合すること。
• 連続的[0,1]-値変数とヘッジロス特徴量を用いることで、離散MRFを一般化する新しい確率的グラフィカルモデルHL-MRFを考案すること。
• 一階論理に基づいた高水準な確率的プログラミング言語PSLを設計し、HL-MRFの定義を容易にすること。
• スパースな依存構造を活用して、共通最適化とADMMを用いたHL-MRFにおけるスケーラブルなMAP推論とパラメータ学習を可能にすること。

提案手法

• HL-MRFsは、連続的[0,1]変数上のヘッジロス関数の重み付き和に比例する確率密度関数を持つ無向グラフィカルモデルとして定義される。
• 推論目的は、MAX SAT緩和（Goemans-Williamson）、局所的整合性緩和（Wainwright-Jordan）、ファジィ論理推論の統合から導出され、これらはすべて同一の凸最適化問題に帰着する。
• MAP推論は、交替方向乗数法（ADMM）を用いた共通最適化により実行され、ヘッジロス潜在変数の部分問題が解析的に解けるように分解される。
• この手法は、グラフィカルモデル内のスパースな依存構造を活用し、一般の凸最適化やサンプリングベースの推論を凌駆する。
• PSLは、一階論理規則を用いてHL-MRFを定義する高水準な構文を提供し、ドメイン/レンジ制約、ブロッキング関数、集約変数のサポートを備える。
• パラメータ学習は、同じスケーラブルな推論パイプラインを用いてヘッジロス特徴量を最適化するフレームワークにより可能となる。

実験結果

リサーチクエスチョン

• RQ1 ランダム化アルゴリズム、局所的整合性緩和、ファジィ論理から、構造的予測のための統一された凸最適化フレームワークを導出できるか？
• RQ2 ヘッジロス潜在変数を用いることで、表現力とスケーラビリティのバランスを取る新しい確率的グラフィカルモデルのクラスを定義できるか？
• RQ3 ADMMに基づくメッセージパッシング推論は、大規模な関係的モデルに対して、一般的な凸最適化よりも顕著にスケーラビリティに優れるか？
• RQ4 得られたHL-MRFモデルは、連続的かつ大規模なデータに適用可能でありながら、離散MRFと同等の精度を達成できるか？
• RQ5 PSLのような高水準プログラミング言語により、HL-MRFは実世界の構造的データアプリケーションにおいてアクセス可能で実用的になるか？

主な発見

• HL-MRFsは、連続的[0,1]変数とヘッジロス特徴量を用いることで、離散MRFを一般化し、接続性に制限を課さずに凸最適化推論を可能にする。
• ランダム化アルゴリズム、局所的整合性、ファジィ論理から統合された推論目的は、同一の凸プログラムに帰着し、HL-MRFsの理論的基盤を確立する。
• HL-MRFsにおけるMAP推論は、ADMMを用い、部分問題が解析的に解ける形で実行され、一般の凸ソルバーを凌駕するスケーラビリティを実現する。
• 実験により、学習されたHL-MRFsは、類似する離散モデルと同等の精度を達成することが示された。
• PSLは、一階論理構文を用いてHL-MRFsを容易に定義可能であり、公開のためのツールも利用可能である。
• 論理和の節の潜在変数に対する局所的整合性緩和の値が、Goemans-WilliamsonのMAX SAT緩和と等価であることが示され、理論的同等性が証明された。