[論文レビュー] Information Theoretic Properties of Markov Random Fields, and their Algorithmic Applications

Linus Hamilton, Frederic Koehler+1 more|arXiv (Cornell University)|May 31, 2017

Algorithms and Data Compression被引用数 24

ひとこと要約

この論文は、有界次数のグラフ上の高次相互作用をもつマークフ・ランダムフィールド（MRF）を学習するための情報理論的枠組みを提案する。ゼロサムゲームの手法を用いて、Breslerの相互情報量下界を一般化することで、著者たちは $ r $ 次相互作用をもつMRFを $ n^r $ 時間および $ \log n $ サンプル複雑度で学習するアルゴリズムを設計した。これは非退化性仮定のもとで、次数依存性を除き最適である。

ABSTRACT

Markov random fields area popular model for high-dimensional probability distributions. Over the years, many mathematical, statistical and algorithmic problems on them have been studied. Until recently, the only known algorithms for provably learning them relied on exhaustive search, correlation decay or various incoherence assumptions. Bresler gave an algorithm for learning general Ising models on bounded degree graphs. His approach was based on a structural result about mutual information in Ising models. Here we take a more conceptual approach to proving lower bounds on the mutual information through setting up an appropriate zero-sum game. Our proof generalizes well beyond Ising models, to arbitrary Markov random fields with higher order interactions. As an application, we obtain algorithms for learning Markov random fields on bounded degree graphs on $n$ nodes with $r$-order interactions in $n^r$ time and $\log n$ sample complexity. The sample complexity is information theoretically optimal up to the dependence on the maximum degree. The running time is nearly optimal under standard conjectures about the hardness of learning parity with noise.

研究の動機と目的

• イジングモデルを超えるマークフ・ランダムフィールドにおける条件付き相互情報量の下界を示す一般枠組みの構築を目的とする。
• 従来の手法が強い仮定を必要としたり、計算複雑度が高かった、有界次数のグラフ上での $ r $ 次相互作用をもつMRFの構造学習問題に取り組む。
• このようなモデルの学習において、情報理論的に最適なサンプル複雑度（$ \log n $）とほぼ最適な実行時間（$ n^r $）を達成することを目的とする。
• 任意の高次クライークポテンシャルをもつ一般MRFへ、Breslerの相互情報量に基づくアプローチを拡張することを目的とする。
• 部分観測（ランダムな欠損）および有界クエリアクセスの下でも、最適なサンプルおよび時間複雑度を維持するロバストなアルゴリズムを提供することを目的とする。

提案手法

• ゼロサムゲームを定式化し、イジングモデルを超えるMRFにおける条件付き相互情報量の下界を導出する。
• 学習に適した統計的分離を保証するため、$ \alpha,\beta $-非退化性を定義し、相互情報量を学習信号として使用可能にする。
• フーフィングの不等式と和集合の不等式を用いて、サンプルから条件付き相互情報量を推定し、高確率で $ \epsilon $-許容誤差内に収束することを保証する。
• サイズが $ L+r $ 以下の集合の条件付き相互情報量をクエリするグリーディー近隣回復アルゴリズム（MrfNbhd）を設計し、有界クエリまたはランダム欠損を想定する。
• 全ノードと候補近隣の和集合にわたるユニオンバウンドを適用し、高確率で完全なグラフ構造を回復することを保証する。
• ランダム欠損の下でアルゴリズムを適応させるために、すべての関連する部分集合が高確率で観測されるよう必要なサンプル数を制限する。

実験結果

リサーチクエスチョン

• RQ1 イジングモデルに用いられた相互情報量下界技術を、高次相互作用をもつMRFへ一般化できるか？
• RQ2 周辺ノードが完全に観測されていない場合に、条件付き相互情報量が無視できないままであるために必要な最小限の仮定（例：非退化性）は何か？
• RQ3 高次相互作用をもつMRFに対して、$ \log n $ のサンプル複雑度と $ n^r $ の時間複雑度で構造学習が達成可能か？
• RQ4 部分観測（ランダム欠損）の下でアルゴリズムはどのように動作し、正しさを保つためにどの程度のサンプル複雑度が必要か？
• RQ5 標準的な計算複雑性の予想のもとで、$ n^r $ の実行時間はほぼ最適か？

主な発見

• ゼロサムゲームの定式化を用いて、イジングモデルを超えるMRFにおける条件付き相互情報量の一般情報理論的下界を確立した。
• $ n $ ノードと $ K $ ステート変数をもつ有界次数のグラフ上の $ r $ 次MRFに対して、アルゴリズムは $ n^r $ 時間および $ \log n $ サンプル複雑度で正しいグラフ構造を学習する。これは、最大次数依存性を除き情報理論的に最適である。
• 各ノードの近隣回復を高確率で達成し、ノードあたり $ O(mLn^r) $ 時間を要する。ここで $ m $ はサンプル数、$ L $ はクエリ深さである。
• 確率 $ p $ のランダム欠損の下では、$ m \geq N \cdot \frac{\ell \log n + \log L + \log(2N/\omega)}{p^2} $ サンプルでアルゴリズムが正しく保たれ、$ N $ は所望の精度と信頼度に依存する。
• サンプル複雑度は対数的要因および最大次数依存性を除き最適であり、実行時間はノイズ付きパリティ学習の困難さの仮定のもとでほぼ最適である。
• 本手法は部分観測に対してロバストであり、有界クエリアクセスをサポートするため、ノイズや不完全なデータがある実用的状況にも適用可能である。