[論文レビュー] Consistent Cross-Validation for Tuning Parameter Selection in High-Dimensional Variable Selection

Yang Feng, Yi Yu|arXiv (Cornell University)|Aug 25, 2013

Control Systems and Identification参考文献 61被引用数 12

ひとこと要約

本稿では、Lasso正則化を用いた高次元変数選択におけるチューニングパラメータ選択の新手法である一貫的交差検証（CCV）を提案する。CCVは、標準的交差検証に内在する過剰選択バイアスを是正する。CCVは正則性条件下でチューニングパラメータ選択の一貫性を達成し、シミュレーション研究および実データ応用において、従来のLassoベースの交差検証と比較して過学習の低減が顕著に見られる。

ABSTRACT

Asymptotic behavior of the tuning parameter selection in the standard cross-validation methods is investigated for the high-dimensional variable selection problem. It is shown that the shrinkage problem with the Lasso penalty is not always the true reason for the over-selection phenomenon in the cross-validation based tuning parameter selection. After identifying the potential problems with the standard cross-validation methods, we propose a new procedure, Consistent Cross-Validation (CCV), for selecting the optimal tuning parameter. CCV is shown to enjoy the tuning parameter selection consistency under certain technical conditions. Extensive simulations and real data analysis support the theoretical results and demonstrate that CCV also works well in terms of prediction. 1

研究の動機と目的

• Lassoペナルティを用いた高次元変数選択における標準的交差検証の漸近的挙動を調査すること。
• 正則化効果を超えて、交差検証ベースのチューニングパラメータ選択における過剰選択の根本的要因を特定すること。
• 高次元漸近的条件下でチューニングパラメータ選択の一貫性を保証する新しい手法を開発すること。
• 一貫的かつデータ駆動的なチューニングパラメータ選択を通じて、高次元設定における予測精度と変数選択の信頼性を向上させること。

提案手法

• 高次元モデルにおける標準的交差検証のバイアスを是正することを目的とした、新規の交差検証手順、一貫的交差検証（CCV）を提案する。
• CCVがチューニングパラメータ選択の一貫性を達成する理論的条件を導出。これにより、標本サイズが増加するにつれて選択されたパラメータが最適値に収束することが保証される。
• 予測誤差推定における高次元バイアスを考慮して、交差検証損失関数を調整。特に多数の予測変数が存在する状況で有効である。
• 修正された1つ除く交差検証またはk分割交差検証フレームワークを採用。高次元漸近的条件下で選択プロセスを安定化させる補正項を組み込む。
• シミュレーションと実世界のデータ解析を通じて、変数選択および予測性能における実効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的交差検証における高次元Lassoモデルの過剰選択の原因は何か。これは主に正則化効果に起因するのか。
• RQ2 修正された交差検証手順は、高次元設定においてチューニングパラメータ選択の一貫性を達成できるか。
• RQ3 提案手法であるCCVは、標準的交差検証と比較して、変数選択の正確性および予測性能においてどのように異なるか。
• RQ4 CCV手法が最適チューニングパラメータへの収束を保証する正則性条件下は何か。

主な発見

• 標準的交差検証は、Lasso正則化によるものだけでなく、予測誤差推定におけるバイアスに起因するため、高次元設定では過剰選択を引き起こすことがある。
• 提案されたCCV手法は、適切な正則性条件下でチューニングパラメータ選択の一貫性を達成し、最適パラメータへの収束を保証する。
• シミュレーションでは、CCVは標準的交差検証と比較して過剰選択を低減しつつ、予測精度を維持または向上させる。
• 実データ解析の結果、CCVは従来の交差検証手法と比較して、より安定的かつ正確な変数セットを選択することが確認された。