[論文レビュー] On Learning Discrete Graphical Models Using Greedy Methods

Ali Jalali, Christopher C. Johnson+1 more|arXiv (Cornell University)|Jul 16, 2011

Statistical Methods and Inference参考文献 29被引用数 61

ひとこと要約

本稿は、高次元設定下での離散的2項グラフィカルモデルの構造学習のための前向き後向きグリーディアルゴリズムを提案する。弱い制限付き強い凸性条件の下でスパーシスティンスを確立し、サンプル複雑度が $\Omega(d^2 \log p)$ にスケーリングすることを示し、$\ell_1$-正則化手法の $\Omega(d^3 \log p)$ よりも改善されている。Isingモデルにおける実証的検証も行われている。

ABSTRACT

In this paper, we address the problem of learning the structure of a pairwise graphical model from samples in a high-dimensional setting. Our first main result studies the sparsistency, or consistency in sparsity pattern recovery, properties of a forward-backward greedy algorithm as applied to general statistical models. As a special case, we then apply this algorithm to learn the structure of a discrete graphical model via neighborhood estimation. As a corollary of our general result, we derive sufficient conditions on the number of samples n, the maximum node-degree d and the problem size p, as well as other conditions on the model parameters, so that the algorithm recovers all the edges with high probability. Our result guarantees graph selection for samples scaling as n = Omega(d^2 log(p)), in contrast to existing convex-optimization based algorithms that require a sample complexity of Ω(d^3 log(p)). Further, the greedy algorithm only requires a restricted strong convexity condition which is typically milder than irrepresentability assumptions. We corroborate these results using numerical simulations at the end.

研究の動機と目的

• 変数数 $p$ が標本数 $n$ よりも大きい高次元での離散的グラフィカルモデルの構造学習の課題に対処すること。
• 凸最適化に基づく手法と同等の強い統計的保証を維持しつつ、計算的に効率的な手法を開発すること。
• グリーディアルゴリズムが真のグラフ構造を一貫して回復できる理論的条件、特にスパーシスティンスに焦点を当てること。
• グリーディ手法が、真のグラフ選択を一貫的に行うために、既存の $\ell_1$-正則化アプローチよりも少ないサンプル数を要することを示すこと。

提案手法

• 線形モデルに関する先行研究を拡張し、一般の統計モデルに適応した前向き後向きグリーディアルゴリズムを適用し、非線形で離散的グラフィカルモデルに適用する。
• ネイバーの推定を用いる：各ノードに対して、多クラスロジスティック回帰モデルを用いて条件付き依存関係のグリーディ選択によりマークフォック・ブラケットを学習する。
• 制限付き強い凸性（RSC）条件を主要仮定として採用し、これは $\ell_1$-正則化手法が要請する非表現性条件よりも弱い。
• 収束を保証し過学習を回避するため、閾値 $\epsilon_{\mathcal{S}} = \frac{c \log(np)}{n}$ を用いた停止基準を導入する。
• 誤ったエッジを削除するためのバックワードステップを $\nu = 0.5$ の閾値で適用し、精度を向上させる。
• 全ノードにわたる和集合の不等式を適用し、高い確率でグローバルなグラフ構造の回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 グリーディアルゴリズムは、$\ell_1$-正則化手法が要請する条件よりも弱い仮定の下で、高次元離散的グラフィカルモデルの構造学習においてスパーシスティンスを達成できるか？
• RQ2 グリーディアルゴリズムが真のグラフ構造を高い確率で回復できるために必要な最小サンプル数 $n$ はどの程度か？
• RQ3 最大ノード次数 $d$ および問題サイズ $p$ に依存する形で、グリーディ手法のサンプル複雑度は、$\ell_1$-正則化ロジスティック回帰と比較してどの程度か？
• RQ4 制限付き強い凸性条件（これは非表現性条件よりも弱い）の下で、グリーディアルゴリズムは強い統計的一致性を維持できるか？
• RQ5 グループ単位の更新を用いることで、多値離散変数をとる一般の2項グラフィカルモデルにグリーディアプローチを拡張できるか？

主な発見

• グリーディアルゴリズムは、$\ell_1$-正則化手法が要請する非表現性条件よりも弱い制限付き強い凸性（RSC）条件の下でスパーシスティンスを達成する。
• 真のグラフ構造の一致した回復に必要なサンプルサイズは $\Omega(d^2 \log p)$ にスケーリングするが、これは $\ell_1$-正則化手法の $\Omega(d^3 \log p)$ よりも改善されている。
• 鎖状、グリッド状、スターベースのトポロジーを持つIsingモデルにおける数値シミュレーションにより、グリーディ手法が完全な構造回復を達成するためのサンプル数が、$\ell_1$-ロジスティック回帰よりも少ないことが確認された。
• 正確なグラフ回復の成功確率は制御パラメータ $\beta(n,p,d) = n / (20d\log p)$ に従って増加し、テストされたすべてのグラフタイプおよびサイズにおいて、グリーディ手法は$\ell_1$-ベース手法を上回った。
• 理論的結果は、値の集合 $\{1, \ldots, m\}$ をとる一般の2項グラフィカルモデルに拡張可能であり、グループ単位の前向き後向きグリーディ更新戦略を用いることで実現される。
• 解析により、与えられたサンプルサイズスケーリングの下でRSCおよびRSS条件が高確率で成立することが示され、すべてのノードにおける一貫したネイバー推定が保証された。