[論文レビュー] Reconstruction of Markov Random Fields from Samples: Some Easy Observations and Algorithms

Guy Bresler, Elchanan Mossel+1 more|arXiv (Cornell University)|Dec 10, 2007

Bayesian Modeling and Causal Inference参考文献 9被引用数 12

ひとこと要約

この論文は、i.i.d.標本からスパースなマークフ・ランダムフィールド（MRF）のグラフ構造を再構築するための新しいアルゴリズムを提示する。局所的条件付き独立性と周辺確率の境界を活用し、$ O(d\epsilon^{-2}\delta^{-4}\log n) $ 個の標本で高確率で元のグラフを再構築可能であることを確立する。ここで $ \epsilon $ と $ \delta $ は局所的相互作用の強さを定量化する。計算時間の上限は $ O(n^{d+2}\epsilon^{-2}\delta^{-4}\log n) $ であり、相関の崩壊が成立する場合には $ O(n^2\log n) $ に改善される。

ABSTRACT

Markov random fields are used to model high dimensional distributions in a number of applied areas. Much recent interest has been devoted to the reconstruction of the dependency structure from independent samples from the Markov random fields. We analyze a simple algorithm for reconstructing the underlying graph defining a Markov random field on $n$ nodes and maximum degree $d$ given observations. We show that under mild non-degeneracy conditions it reconstructs the generating graph with high probability using $Θ(d ε^{-2}δ^{-4} \log n)$ samples where $ε,δ$ depend on the local interactions. For most local interaction $\eps,δ$ are of order $\exp(-O(d))$. Our results are optimal as a function of $n$ up to a multiplicative constant depending on $d$ and the strength of the local interactions. Our results seem to be the first results for general models that guarantee that {\em the} generating model is reconstructed. Furthermore, we provide explicit $O(n^{d+2} ε^{-2}δ^{-4} \log n)$ running time bound. In cases where the measure on the graph has correlation decay, the running time is $O(n^2 \log n)$ for all fixed $d$. We also discuss the effect of observing noisy samples and show that as long as the noise level is low, our algorithm is effective. On the other hand, we construct an example where large noise implies non-identifiability even for generic noise and interactions. Finally, we briefly show that in some simple cases, models with hidden nodes can also be recovered.

研究の動機と目的

• 真のグラフが未知である状況で、独立同分布の標本からマークフ・ランダムフィールドの依存性グラフを再構築する課題に対処すること。
• 有界次数を持つスパースなMRFの再構築に際し、標本の複雑さと計算効率に関する理論的保証を提供すること。
• ノイズが付加された、または部分的に観測されたデータの設定へと再構築を拡張し、弱い非退化条件の下で同定可能性を保証すること。
• 特定の相互作用強度の制約下で、三角形を含まないグラフにおける隠れノードが回復可能であることを示すこと。

提案手法

• 局所的近傍統計を用いてエッジを推定するための単純なアルゴリズムを提案。条件付き独立性は経験的相互情報量を用いて推定する。
• 情報理論的境界を用いて、再構築に必要な最小標本数の下界 $ \Omega(d\log n) $ を導出し、定数因子の意味で最適性を確立する。
• 条件付き確率と周辺分布の下界 $ \epsilon $ と $ \delta $ を含む非退化条件を導入し、一意的なグラフ同定を保証する。
• 弱いノイズが付加された観測に対してアルゴリズムを適応させ、ノイズレベルが相互作用強度に比べて小さい限り再構築可能性が保たれることを示す。一方、強いノイズは同定不能性を引き起こす可能性がある。
• 相関の崩壊を活用して、計算時間の上限を $ O(n^{d+2}\epsilon^{-2}\delta^{-4}\log n) $ から $ O(n^2\log n) $ に短縮し、$ d $ が固定の場合に多項式的かつ効率的となる。
• クリーク再構築技術を適用し、観測された部分グラフにおける最大クリークを特定し、それらを潜在的頂点に置き換えることで隠れノードを回復する。

実験結果

リサーチクエスチョン

• RQ1 有界次数を持つMRFのグラフを高確率で再構築するために必要なi.i.d.標本の最小数は何か？
• RQ2 相関の崩壊が成立する場合を除き、実行時間の観点からも再構築アルゴリズムを効率化できるか？
• RQ3 ノイズが付加された、または部分的に観測された変数が存在する場合、元のMRFグラフの同定可能性にどのような影響を与えるか？
• RQ4 どのような条件下で、潜在的MRF構造における隠れノードが観測標本から回復可能となるか？
• RQ5 次数と相互作用強度に依存する定数因子の意味で、最適な標本複雑さを達成することは可能か？

主な発見

• 本論文は、最大次数 $ d $ のMRFに対して、$ O(d\epsilon^{-2}\delta^{-4}\log n) $ 個の標本で元のグラフを再構築可能であることを確立し、定数因子の意味で情報理論的下界と一致する。
• 相関の崩壊が成立するモデルでは、計算時間が $ O(n^2\log n) $ に短縮され、$ d $ が固定の場合に多項式的かつ効率的となり、一般の $ O(n^{d+2}\epsilon^{-2}\delta^{-4}\log n) $ の境界に比べ顕著に改善される。
• 弱いノイズが付加された場合でも、ノイズレベルが相互作用強度に比べて小さい限り、アルゴリズムは有効であり、高確率での再構築が保証される。
• 三角形を含まないグラフに適用されるフェロ磁性イジングモデルにおいて、明示的な下界が導出される：$ \epsilon \geq \frac{\tanh(2c)}{32e^{2(d+1)C}(C^2 + C^{-2})} $ および $ \delta \geq \frac{e^{-4dC}}{2^{2d}} $。これらは非退化条件を満たす。
• 欠落したノードが十分に分離されている限り、観測された部分グラフにおける最大クリークを特定し、それらを潜在的頂点に置き換えることで、隠れノードを含むグラフを効果的に再構築できる。
• 本論文は、大きなノイズが存在する例を構築し、一般の相互作用のもとでも同定不能性が生じうることを示しており、耐性の根本的限界を示している。