[論文レビュー] Improved Estimation of High-dimensional Ising Models

Mladen Kolar, Eric P. Xing|ArXiv.org|Nov 7, 2008

Statistical Methods and Inference参考文献 18被引用数 6

ひとこと要約

本稿では、$λ$-正則化された代替尤度関数と、切り捨て平面法によるマージナル多面体の改善された外部近似を用いて、高次元二値Isingモデルにおける構造とパラメータの共同推定手法を提案する。主な貢献は、特に強いノード相関下において、従来手法に比べてパラメータ推定とマージナル近似の精度が向上している点であり、$p$ が $n$ とともに増加する高次元設定下で、理論的収束速度がグラフのスパarsityに明示的に依存することを示している。

ABSTRACT

We consider the problem of jointly estimating the parameters as well as the structure of binary valued Markov Random Fields, in contrast to earlier work that focus on one of the two problems. We formulate the problem as a maximization of $\ell_1$-regularized surrogate likelihood that allows us to find a sparse solution. Our optimization technique efficiently incorporates the cutting-plane algorithm in order to obtain a tighter outer bound on the marginal polytope, which results in improvement of both parameter estimates and approximation to marginals. On synthetic data, we compare our algorithm on the two estimation tasks to the other existing methods. We analyze the method in the high-dimensional setting, where the number of dimensions $p$ is allowed to grow with the number of observations $n$. The rate of convergence of the estimate is demonstrated to depend explicitly on the sparsity of the underlying graph.

研究の動機と目的

• 従来手法が一方的であるのに対し、高次元二値マルコフ確率場における構造とパラメータの共同推定という課題に取り組む。
• 離散的MRFにおける正確な推論の非効率性を、対数行列式近似を用いた対数パーティション関数の凸緩和によって克服する。
• 切り捨て平面法を用いてマージナル多面体の外部近似をタイトにすることで、パラメータ推定の精度とマージナル近似の質を向上させる。
• 推定子の高次元漸近的解析を提供し、収束速度が基礎となるグラフィカルモデルのスパarsityに明示的に依存することを示す。
• サイクル不等式を効率的に組み込み、スパース解を得るための $λ$-ノルム制約をサポートするスケーラブルな最適化フレームワークを構築する。

提案手法

• 対数行列式緩和を用いた対数パーティション関数の凸緩和に基づく $λ$-正則化された代替尤度関数の最大化として学習問題を定式化し、効率的な最適化を可能にする。
• 切り捨て平面法を統合し、マージナル多面体の外部近似を繰り返し改善することで、よりタイトな境界と高い推定精度を達成する。
• サイクル不等式を有効な制約条件とし、違反した場合にのみ動的に分離・追加することで、計算コストを抑えつつ外部近似の品質を向上させる。
• 切り捨て平面手順と $λ$-ノルム制約付き最適化を組み合わせ、スパースパラメータ推定のための $λ^1$-ボールへの効率的射影を可能にする。
• $p$ が $n$ とともに増加する高次元設定下で、構造学習とパラメータ推定の両方に対してアルゴリズムを適用し、スケーラビリティと一貫性を保証する。
• 推定におけるバイアスが推論における近似誤差を相殺できることに着目し、学習と推論の両方で一貫性のある代替尤度関数の使用を正当化する。

実験結果

リサーチクエスチョン

• RQ1 高次元二値Isingモデルにおける構造とパラメータの共同推定を、両タスクの精度を向上させながら行うにはどうすればよいか？
• RQ2 切り捨て平面法によるマージナル多面体のよりタイトな外部近似を組み込むことで、パラメータ推定とマージナル近似の質はどの程度向上するか？
• RQ3 強いノード結合下における構造回復とモデル適合度の観点から、本手法はBanerjeeら[1]およびWainwrightら[15]の手法と比較してどの程度優れているか？
• RQ4 高次元的設定下（$p$ が $n$ とともに増加）における推定子の理論的収束速度は何か？また、真のグラフのスパarsityにどのように依存するか？
• RQ5 サイクル不等式は最適化に効率的に分離・統合可能であり、代替尤度関数の近似品質を向上させることができるか？

主な発見

• 密な部分グラフと強い結合を持つモデルでは、サイクル不等式が違反し、追加が必要な状況において、本手法はBanerjeeら[1]の手法を代替尤度関数の適合度で上回る。
• 弱い結合のスパースなグラフでは、初期の対数行列式境界がすでに平均パラメータをよく捉えているため、本手法はBanerjeeら[1]と同等の性能を示す。
• 本手法は、『Wainwright_min』の保守的および『Wainwright_max』の能動的推定の間の中間的なエッジ密度のグラフを生成し、バランスの取れた構造選択を示している。
• 推定子の収束速度は、最良の代替尤度パラメータにおける非ゼロ要素の数に明示的に依存しており、高次元的一致性においてスパarsityの役割が顕著に現れている。
• 切り捨て平面法は、違反するサイクル不等式を効果的に同定・追加し、初期近似の外側に真の平均がある場合に、より良いパラメータ推定をもたらす。
• 非常にスパースなグラフの場合には、不要な切り捨て平面反復を回避することで、$p$ と $n$ に比例してスケーリング可能な計算効率を維持している。