[論文レビュー] Cross-Validation with Confidence

Jing Lei|arXiv (Cornell University)|Mar 23, 2017

Statistical Methods and Inference参考文献 28被引用数 9

ひとこと要約

この論文は、交差検証のテストサンプルにおける不確実性を組み込むことで過学習を防ぐ統計的に整合的な手法であるConfidence付き交差検証（CVC）を導入する。p値を交差検証された残差に基づく仮説検定フレームワークを用いることで、CVCは、最良のモデルが保証確率で含まれるモデルの信頼集合を出力する。これにより、従来の分割比を用いた場合でも一貫した変数選択が可能になる。

ABSTRACT

Cross-validation is one of the most popular model selection methods in statistics and machine learning. Despite its wide applicability, traditional cross validation methods tend to select overfitting models, due to the ignorance of the uncertainty in the testing sample. We develop a new, statistically principled inference tool based on cross-validation that takes into account the uncertainty in the testing sample. This new method outputs a set of highly competitive candidate models containing the best one with guaranteed probability. As a consequence, our method can achieve consistent variable selection in a classical linear regression setting, for which existing cross-validation methods require unconventional split ratios. When used for regularizing tuning parameter selection, the method can provide a further trade-off between prediction accuracy and model interpretability. We demonstrate the performance of the proposed method in several simulated and real data examples.

研究の動機と目的

• 従来の交差検証がテストサンプルの不確実性を無視することに起因する過学習問題に対処すること。
• 最適なモデルが保証確率で含まれるモデルの信頼集合を提供する統計的に整合的な推論ツールを開発すること。
• 従来の手法が達成できなかったが、従来のV分割交差検証の分割比を用いた低次元線形回帰において一貫した変数選択を達成すること。
• チューニングパラメータ選択における予測精度とモデルの解釈可能性の間の頑健なトレードオフを提供すること。
• タイプIエラーを制御し、競合するモデルが高確率で含まれることを保証することで、リスク最小化設定における交差検証の信頼性を高めること。

提案手法

• CVCは、各候補モデルに対して、その予測リスクがすべてのモデルの中で最小であるかどうかを仮説検定する。
• 高次元正規分布比較フレームワークの下で、すべての候補モデルの交差検証された残差を比較してp値を計算する。
• 弱いモーメント仮定の下で統計量の漸近的挙動を制御するために、自己正規化された中程度の偏差結果を用いる。
• 帰無仮説（モデルが最小のリスクを持つ）が事前に指定された有意水準で棄却されないモデルの部分集合として、信頼集合を構築する。
• V分割交差検証の各foldに対して手順を別々に適用し、有限サンプルの被覆確率を保証するために和集合の不等式を用いる。
• 最近の高次元正規分布比較に関する結果（Chernozhukovら）を活用し、検定統計量における相関的・異分散性のある残差を扱う。

実験結果

リサーチクエスチョン

• RQ1 テストサンプルの不確実性を考慮することで、交差検証を統計的に整合的なものにできるか？
• RQ2 提案手法は、従来のV分割交差検証の分割比を用いた線形回帰において一貫した変数選択を達成できるか？
• RQ3 従来の交差検証が失敗する状況でも、最良のモデルが高確率で含まれるモデルの信頼集合を提供できるか？
• RQ4 チューニングパラメータ選択において、予測精度とモデルの解釈可能性のバランスはどのようにとられるか？
• RQ5 弱い正則性条件の下で、信頼集合の被覆確率についてどのような理論的保証を確立できるか？

主な発見

• すべての仮説検定を有意水準αで実施した場合、CVCが出力する信頼集合は、最良のモデルを確率1−α以上で含む。
• CVCの信頼集合に含まれる最小のモデルは、従来の分割比を用いた線形回帰において一貫した変数選択を達成するが、標準的な交差検証では達成できない。
• 高い確率で、予測リスクにおいて非常に競争力のあるモデルのみが信頼集合に含まれる。
• 標本サイズが増加するに従い、最良のモデルが選択された集合に含まれる確率は1に近づく。
• タイプIエラーを制御し、誤差の2次のモーメントと予測変数の4次のモーメントが有限であるという弱いモーメント仮定の下でも被覆を維持する。
• 自己正規化された中程度の偏差結果と高次元正規分布比較技術を用いて、理論的保証を確立した。