[論文レビュー] Consistent selection of tuning parameters via variable selection stability

Wei Sun, Junhui Wang+1 more|arXiv (Cornell University)|Aug 16, 2012

Statistical Methods and Inference参考文献 32被引用数 66

ひとこと要約

本稿では、ブートストラップサンプル間の変数選択安定性を測るための新しいチューニングパラメータ選択基準を提案する。Cohenのカッパ係数を用いて一致度を測定し、固定次元および発散次元設定の両方で漸近的選択一貫性を確保する。従来の基準（BIC や交差検証）よりも、真の変数集合の回復性能に優れる。

ABSTRACT

Penalized regression models are popularly used in high-dimensional data analysis to conduct variable selection and model fitting simultaneously. Whereas success has been widely reported in literature, their performances largely depend on the tuning parameters that balance the trade-off between model fitting and model sparsity. Existing tuning criteria mainly follow the route of minimizing the estimated prediction error or maximizing the posterior model probability, such as cross-validation, AIC and BIC. This article introduces a general tuning parameter selection criterion based on a novel concept of variable selection stability. The key idea is to select the tuning parameters so that the resultant penalized regression model is stable in variable selection. The asymptotic selection consistency is established for both fixed and diverging dimensions. The effectiveness of the proposed criterion is also demonstrated in a variety of simulated examples as well as an application to the prostate cancer data.

研究の動機と目的

• 高次元ペナルティ回帰におけるチューニングパラメータ選択という重要な課題に取り組み、モデルの適合度とスパarsityのバランスに依存する性能を最適化すること。
• 繰り返しサンプリングにおいて真に有益な変数を一貫して特定できる、選択安定性を直接的対象とする基準の開発。
• 固定次元および発散次元の両設定下で、提案手法の漸近的選択一貫性の確立。
• 予測誤差やモデル確率を最適化するのではなく、選択安定性を最適化する、BIC や交差検証といった従来の基準の実用的代替案の提供。
• シミュレーションおよび前立腺がんデータへの実世界応用を通じて、手法の有効性の検証。

提案手法

• 本手法は、データの複数のブートストラップ再サンプルにおける変数選択の安定性に基づいてチューニングパラメータを評価する。
• 安定性は、確率的一致を考慮したCohenのカッパ係数によって測定され、選択された変数集合間の一致度を定量化する。
• 最適なチューニングパラメータは、ブートストラップサンプル全体における平均カッパ係数を最大化するものとして選択される。
• Lasso、SCAD、適応Lasso などのさまざまなペナルティ回帰モデルに、既存の最適化フレームワークと統合することで適用可能である。
• 正則性条件の下で漸近的一貫性が証明され、選択されたチューニングパラメータが、確率が1に近づくにつれて真のモデルを回復することを示している。
• モデルの誤指定に対してもロバストであり、予測子の数が標本サイズとともに発散する場合でも高い選択精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 Cohenのカッパで測定される変数選択の安定性は、高次元回帰におけるチューニングパラメータ選択の信頼性のある基準として機能するか？
• RQ2 提案されたカッパベースの基準は、固定次元および発散次元設定の両方で漸近的選択一貫性を達成するか？
• RQ3 BIC や交差検証といった従来手法と比較して、カッパ基準の真の変数回復性能はどの程度優れているか？
• RQ4 ブートストラップ再サンプリングと標本サイズは、選択されたチューニングパラメータの安定性および一貫性にどのような影響を及けるか？
• RQ5 予測子の数が標本サイズとともに増加する状況下で、本手法が選択一貫性を維持する条件は何か？

主な発見

• 提案されたカッパベースのチューニングパラメータ選択基準は、固定次元および発散次元設定の両方で漸近的選択一貫性を達成する。
• 標本サイズが増加するにつれて、真の有益変数集合が確率1に近づく確率で一貫して回復される。
• シミュレーションでは、特に弱い信号を有する高次元状況下で、BIC や交差検証を上回る正しく変数集合の同定性能を示した。
• 前立腺がんデータへの応用では、従来の基準と比較して、より優れた変数選択の安定性とモデルの解釈可能性を示した。
• 理論的分析により、選択されたチューニングパラメータが最適値の収縮する近傍に位置することを確認し、真のモデルへの収束を保証した。
• 無 representable 条件およびスパarsity仮定が満たされる限り、予測子の数が標本サイズとともに発散する場合でも、本手法は高い性能を維持する。