[論文レビュー] Quantile universal threshold for model selection

Caroline Giacobino, Sylvain Sardy+2 more|arXiv (Cornell University)|Nov 17, 2015

Image and Signal Denoising Methods参考文献 65被引用数 6

ひとこと要約

本稿では、正則化パrameter λ の選択を未知のスケールから確率的スケールへと変換する、分位数に基づくしきい値関数を用いた、高次元モデルにおける正則化パrameter λ 選択のための新規手法である分位数ユニバーサルしきい値（QUT）を提案する。この手法により、高い確率で有効な変数スクリーニングが可能となり、交差検証やSUREと比較して真のモデルサポートをより効果的に特定し、誤検出を最小限に抑える。

ABSTRACT

Efficient recovery of a low-dimensional structure from high-dimensional data has been pursued in various settings including wavelet denoising, generalized linear models and low-rank matrix estimation. By thresholding some parameters to zero, estimators such as lasso, elastic net and subset selection allow to perform not only parameter estimation but also variable selection, leading to sparsity. Yet one crucial step challenges all these estimators: the choice of the threshold parameter~$λ$. If too large, important features are missing; if too small, incorrect features are included. Within a unified framework, we propose a new selection of $λ$ at the detection edge under the null model. To that aim, we introduce the concept of a zero-thresholding function and a null-thresholding statistic, that we explicitly derive for a large class of estimators. The new approach has the great advantage of transforming the selection of $λ$ from an unknown scale to a probabilistic scale with the simple selection of a probability level. Numerical results show the effectiveness of our approach in terms of model selection and prediction.

研究の動機と目的

• 高次元モデルにおける正則化パrameter λ の選択という、深刻な課題に取り組むこと。誤った選択は真の特徴を見逃すか、誤った特徴を含めることにつながる。
• 線形回帰、一般化線形モデル、低ランク行列推定、密度推定といった多様な設定において、単一のしきい値関数フレームワークでモデル選択を統一すること。
• 未知のスケールではなく確率的スケールで動作させることで、高い確率で変数スクリーニングを実現する手法の開発。
• 交差検証、AIC、BIC、SUREといった従来の基準は、高次元設定におけるモデル同定においてしばしば最適でないことを踏まえ、それらを上回る性能を発揮すること。
• 真のサポートが一貫して回復される条件を特定する、モデル選択性能におけるフェーズ遷移行動を確立すること。

提案手法

• 帰無仮説モデル下でのしきい値推定器の挙動を特徴付ける、ゼロしきい値関数を提案する。
• 帰無仮説下で推定係数が従う分布を定量化する、帰無仮説しきい値統計量を定義する。
• 分位数ユニバーサルしきい値（QUT）を、帰無仮説しきい値統計量の α-分位数として定義し、所定の確率水準 α に基づく λ 選択を可能にする。
• lasso、リッジ・ネット、低ランク行列推定器を含む広範な推定器クラスについて、ゼロしきい値関数および帰無仮説しきい値統計量の明示的表現を導出する。
• 分位数に基づくしきい値を用いることで、推定モデルサポートが真のサポートを確率 1−α 以上に含むことを保証する。
• シミュレーションおよび実データ研究を用いて、ゲノムや画像分類を含む複数の分野において、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 多様な高次元モデルにわたって、正則化パrameter λ の選択を統一するフレームワークを開発できるか？
• RQ2 しきい値選択問題を、未知のスケールから確率的スケールに変換することで、モデル同定をどのように改善できるか？
• RQ3 提案された分位数ユニバーサルしきい値（QUT）は、制御された誤発見率を伴って変数スクリーニングをどの程度達成できるか？
• RQ4 交差検証、SURE、BICといった古典的手法と比較して、QUT はサポート回復および予測精度の観点でどの程度優れているか？
• RQ5 QUT 手法は、圧縮センシングと同様に、モデル選択性能におけるフェーズ遷移行動を示すか？

主な発見

• QUT 手法は、近似的なオラクル性能を達成し、理論的オラクルルールと非常に近いフェーズ遷移を示す。
• 交差検証（CVmin および CV1se）および SURE よりも、オラクル包含率（OIR）の観点で顕著に優れている。これは、誤検出の制御が良好でありながら、高い真正陽性率を維持できることを示している。
• 切片 β₀* の推定における不確実性に対しても、QUT は安定した真正陽性率（TPr）および誤発見率（FDr）を示しており、ロバストであることが示された。
• スパarsity およびアンダーサンプリング要因（δ および ρ）が変化しても、QUT は高い OIR を維持し、高次元領域における一貫性ある性能を示した。
• √lasso における QUT の性能は、ゼロしきい値関数の複雑性が増加するため劣悪であった。これは、本手法が推定器の構造に敏感であることを示している。
• 提案されたフレームワークは、線形回帰、一般化線形モデル、低ランク行列推定、密度推定といった複数の分野におけるモデル選択を成功裏に統一した。