[論文レビュー] Sparse estimation in Ising Model via penalized Monte Carlo methods

Błażej Miasojedow, Wojciech Rejchel|arXiv (Cornell University)|Dec 22, 2016

Markov Chains and Monte Carlo Methods参考文献 25被引用数 3

ひとこと要約

本稿では、高次元イジングモデルにおけるスパース構造学習のためのラッソ正則化モンテカルロ最尤法を提案する。正規化定数の計算不能性は、重要度サンプリングを用いたMCMC近似によって解決される。弱い正則性条件の下で、この手法は高次元設定（$ d less n $）であっても、高い確率で真のグラフィカル構造を一貫して特定する。理論的保証と数値的検証によって裏付けられる。

ABSTRACT

We consider a problem of model selection in high-dimensional binary Markov random fields. The usefulness of the Ising model in studying systems of complex interactions has been confirmed in many papers. The main drawback of this model is the intractable norming constant that makes estimation of parameters very challenging. In the paper we propose a Lasso penalized version of the Monte Carlo maximum likelihood method. We prove that our algorithm, under mild regularity conditions, recognizes the true dependence structure of the graph with high probability. The efficiency of the proposed method is also investigated via simulation studies.

研究の動機と目的

• 変数の数 $ d $ が標本サイズ $ n $ と同等またはそれを上回る高次元のバイナリマークフ・ランダムフィールドにおけるモデル選択を扱う。
• イジングモデルにおける計算不能な正規化定数を克服する。これは、標準的な尤度ベース推定を妨げる要因である。
• ラッソ正則化とモンテカルロ近似を組み合わせることで、計算的に実行可能なスパースグラフィカルモデル推定手法を開発する。
• 弱い正則性条件の下で、真のグラフ構造を回復する際の手法の一貫性を確立する。

提案手法

• 推定されたイジングモデルのパラメータにおけるスパarsityを誘導するために、対数尤度にラッソペナルティを適用する。
• モンテカルロ・マルコフ連鎖（MCMC）フレームワーク内での重要度サンプリングを用いて、計算不能な正規化定数を近似する。
• MCMCサンプルからの十分統計量の重み付き経験平均を用いて、対数尤度の勾配およびヘッセ行列を推定する。
• 推定誤差のバインドを保証するため、集中不等式を用い、MCMCの混合性が弱い条件下で真の尤度への収束を保証する。
• 二段階手順を採用する：まず、ペナルティ付き尤度のMCMC近似を推定し、次にラッソペナルティに基づくしきい値ルールを適用してエッジ集合を特定する。
• MCMC近似されたスコア関数と真のスコア関数との差の $ l_\infty $-ノルムに関する理論的バインドを活用し、推定誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 高次元イジングモデルにおいて、正則化モンテカルロ最尤アプローチは、真のグラフィカル構造を一貫して回復できるか？
• RQ2 MCMC推定における重要度サンプリングの使用は、偽尤度近似に依存せずに、計算不能な正規化定数を効果的に処理できるか？
• RQ3 ラッソ正則化MCMC推定量が高次元設定でモデル選択の一貫性を達成する条件は何か？
• RQ4 構造回復精度の観点から、本手法は偽尤度法やガウスグラフィカルモデルの拡張手法と比較して、どのように性能を発揮するか？

主な発見

• 提案手法はモデル選択の一貫性を達成する：弱い正則性条件の下で、高い確率で真のエッジ集合を正しく同定する。
• 理論的解析により、MCMC近似されたスコア関数が、$ l_\infty $-ノルムで真のスコア関数に収束することが示され、MCMCサンプルサイズ $ m $ が十分に大きい場合に高い確率で成立する。
• 本手法は真のグラフ構造の複雑さに対して頑健である。これは、複雑なグラフでは失敗する偽尤度仮定に依存しないからである。
• ラッソペナルティによりスパarsityが確保され、推定量は正確なサポート回復を達成する：真のエッジは高い確率で検出され、非エッジは正しく除外される。
• 数値的実験により、さまざまな高次元シナリオにおいて、真のグラフ構造の回復が効率的かつ一貫的に行えることが確認された。