[論文レビュー] Estimation Stability with Cross Validation (ESCV)

Chinghway Lim, Bin Yu|arXiv (Cornell University)|Mar 13, 2013

Statistical Methods and Inference参考文献 3被引用数 5

ひとこと要約

本稿では、高次元Lassoモデルにおける正則化パラメータの選択のために、交差検証（CV）と推定安定性（ES）指標を組み合わせたモデルフリーな基準、ESCVを提案する。ESCVは推定不安定性を最小化することで、CVよりも小さく、より安定したモデルを生成し、誤検出を顕著に低減しながら予測性能を維持し、実世界の神経科学および細胞生物学データにおいて、分野の専門的知識とより整合性を持つ。

ABSTRACT

Cross-validation (CV) is often used to select the regularization parameter in high dimensional problems. However, when applied to the sparse modeling method Lasso, CV leads to models that are unstable in high-dimensions, and consequently not suited for reliable interpretation. In this paper, we propose a model-free criterion ESCV based on a new estimation stability (ES) metric and CV. Our proposed ESCV finds a locally ES-optimal model smaller than the CV choice so that the it fits the data and also enjoys estimation stability property. We demonstrate that ESCV is an effective alternative to CV at a similar easily parallelizable computational cost. In particular, we compare the two approaches with respect to several performance measures when applied to the Lasso on both simulated and real data sets. For dependent predictors common in practice, our main finding is that, ESCV cuts down false positive rates often by a large margin, while sacrificing little of true positive rates. ESCV usually outperforms CV in terms of parameter estimation while giving similar performance as CV in terms of prediction. For the two real data sets from neuroscience and cell biology, the models found by ESCV are less than half of the model sizes by CV. Judged based on subject knowledge, they are more plausible than those by CV as well. We also discuss some regularization parameter alignment issues that come up in both approaches.

研究の動機と目的

• 高次元Lassoモデルにおける交差検証（CV）の不安定性、特に高い誤検出レートを引き起こす問題に対処すること。
• 予測性能を維持しながら推定安定性を高めるモデルフリーな基準を開発すること。
• より解釈可能なモデルを提供する実用的なCVの代替手段を提供すること、特に不必要な変数が少ないモデルを生成すること。
• ESCVの性能を、ブロックおよびトーペリッツ型相関構造を有するシミュレートデータおよび神経科学と細胞生物学からの2つの実データセットを用いて評価すること。
• CVおよび提案手法のESCVの両方に共通する正則化パラメータの整合性に関する問題を調査すること。

提案手法

• 再サンプリングされたデータセット間での係数推定値の変動を定量化するための新しい推定安定性（ES）指標を導入する。
• ES指標と交差検証を組み合わせ、推定不安定性を最小化する正則化パラメータλを選択する新しい基準、ESCVを構築する。
• k分割交差検証を用いて予測誤差を推定すると同時に、各fold間での係数の安定性を測定する。
• 予測性能と推定安定性の両方を最適化し、係数推定値の分散が低いより小さなモデルを優先する。
• ESCVをLasso回帰に適用し、CVと同一の計算フレームワークを用いることで、並列処理が容易になる。
• ブロックおよびトーペリッツ型相関構造を有するシミュレートデータ、および神経科学と細胞生物学からの2つの実データセットを用いて、ESCVとCV、および拡張BICを比較する。

実験結果

リサーチクエスチョン

• RQ1 依存する予測子を有する高次元設定において、ESCVは従来の交差検証（CV）よりもより安定的かつ信頼性の高いLassoモデルを生成するか？
• RQ2 予測精度を同等に保ったまま、ESCVはCVに比べて誤検出レートをどの程度低減するか？
• RQ3 実世界の応用、特にモデルの解釈性が極めて重要な分野（神経科学や細胞生物学）において、ESCVはどのように性能を発揮するか？
• RQ4 CVおよびESCVの両方において共通する正則化パラメータの整合性に関する問題の影響は何か？ そして、それらがモデル選択にどのように影響するか？
• RQ5 ESCVは、計算コストを増加させることなく、パラメータ推定および変数選択を改善する、実用的で計算的に効率的なCVの代替手段として機能できるか？

主な発見

• 依存する予測子を有する状況では、ESCVは誤検出レートを大幅に低減し、しばしば半減させる一方で、真正陽性の検出率をほとんど損なわない。
• 神経科学および細胞生物学からの2つの実データセットにおいて、ESCVはCVのモデルの半分以下のサイズのモデルを生成したが、CVと同等の予測性能を維持した。
• シミュレーションでは、特に高い相関（ρ = 0.99）下で、ESCVはパラメータ推定においてCVを一貫して上回った。この条件下で、誤検出数は平均20.8から18.2に減少した。
• ブロック相関設計（ρ = 0.99、σ = 2）において、ESCVは誤検出数を20.8から18.2に減少させ、F-measureは0.143（CVの0.135）を維持した。
• トーペリッツ設計（ρ = 0.99、σ = 2）において、誤検出数は26.2から18.7に減少し、モデルサイズは26.5から20.8に低下したが、予測性能の損失は最小限に抑えられた。
• ESCVモデルは、分野の専門的知識および独立した生物学的知見とより整合性があり、実世界の応用において解釈性が向上していることが示された。