[論文レビュー] Stability Approach to Regularization Selection (StARS) for High Dimensional Graphical Models

Han Liu, Kathryn Roeder+1 more|arXiv (Cornell University)|Jun 16, 2010

Gene expression and cancer classification被引用数 172

ひとこと要約

本稿では、高次元グラフィカルモデルにおける正則化パラメータ選択のための新規手法StARS（Stability Approach to Regularization Selection）を提案する。この手法は、ランダムサブサンプル間でのスパarsityと安定性のバランスをとることで、従来の手法（K-fold CV、AIC、BIC）を上回り、合成データおよび実際のマイクロアレイデータの両方で高い部分的スパarsityを達成し、高次元設定下でもより正確で解釈可能なグラフを生成する。

ABSTRACT

A challenging problem in estimating high-dimensional graphical models is to choose the regularization parameter in a data-dependent way. The standard techniques include $K$-fold cross-validation ($K$-CV), Akaike information criterion (AIC), and Bayesian information criterion (BIC). Though these methods work well for low-dimensional problems, they are not suitable in high dimensional settings. In this paper, we present StARS: a new stability-based method for choosing the regularization parameter in high dimensional inference for undirected graphs. The method has a clear interpretation: we use the least amount of regularization that simultaneously makes a graph sparse and replicable under random sampling. This interpretation requires essentially no conditions. Under mild conditions, we show that StARS is partially sparsistent in terms of graph estimation: i.e. with high probability, all the true edges will be included in the selected model even when the graph size diverges with the sample size. Empirically, the performance of StARS is compared with the state-of-the-art model selection procedures, including $K$-CV, AIC, and BIC, on both synthetic data and a real microarray dataset. StARS outperforms all these competing procedures.

研究の動機と目的

• 高次元無向グラフィカルモデルにおける正則化パラメータ選択という重要な課題に取り組むこと。標準的手法（K-CV、AIC、BIC）は次元の高さのため失敗する。
• グラフのスパarsityとランダムサブサンプル間での再現性を両立させる最小の正則化を保証するデータ駆動型手法を開発すること。
• 理論的裏付けがありながらも解釈可能なアプローチを提供し、変数数が標本サイズとともに発散する際でも真のエッジの包含を保証すること。
• 合成データおよび実世界の高次元データにおいて、既存のモデル選択手順を上回る性能を実証的に示すこと。

提案手法

• StARSは、データの重複するランダムサブサンプルを用いて、さまざまな正則化レベルにおけるエッジの安定性を評価する。
• 高い正則化（スパースで安定したグラフ）から出発し、サブサンプル間の許容可能なばらつきの閾値に達するまで段階的に正則化を弱めていく。
• 選択された正則化パラメータは、サブサンプル間で安定したエッジパターンを維持する最小の正則化に対応する。
• この手法は、正則化が逆分散共分散行列推定のスパarsityを制御するグラフィカルラッソフレームワークに適用される。
• StARSは交差検証や情報量基準に依存せず、選択されたグラフにおける安定性とスパarsityを直接最適化する。
• この手順は、回帰、クラスタリング、次元削減などの他の高次元構造推定タスクにも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 安定性に基づくアプローチは、K-CV、AIC、BICといった従来の正則化選択手法を高次元グラフィカルモデルで上回ることができるか？
• RQ2 StARSは、グラフサイズが増大する際、すべての真のエッジが高確率で含まれる部分的スパarsityを達成するか？
• RQ3 強い分布的仮定を必要とせずに、選択されたグラフにおけるスパarsityと再現性を効果的にバランスできるか？
• RQ4 StARSは、遺伝子発現マイクロアレイデータなどの実世界の高次元データにおいて、どのように性能を発揮するか？

主な発見

• 高次元のハブやネイバーヒューブグラフを有する合成データにおいて、StARSはF1スコア0.6274を達成し、K-CV（0.3769）やAIC（0.3951）を著しく上回った。
• 低次元設定ではBICが競争力を持っていたが、高次元設定ではStARSがBICやAICを含むすべての比較手法を明確に上回った。
• マイクロアレイデータ（n=294, p=324）において、StARSはクラスターやハブ遺伝子を有するスパースで情報豊富なグラフを生成したのに対し、BICは意味のある関連性を隠蔽する密度の高いグラフを生成した。
• StARSのグラフは、サブサンプル上で推定されたオラクルグラフとほぼ同等の正確さを示したが、K-CV、BIC、AICのグラフは過剰に密度が高く、解釈性に欠けていた。
• StARSはやや弱い条件下でも部分的スパarsityを示した。これは、変数数が標本サイズとともに増大する際でも、すべての真のエッジが高確率で含まれることを意味する。
• この手法の性能は頑健で解釈可能である。最小の正則化を選び、スパarsityと安定性の両方を保証するため、高次元設定下での科学的発見に適している。