[論文レビュー] Bootstrap tuning in ordered model selection

Vladimir Spokoiny, Niklas Willrich|arXiv (Cornell University)|Jul 17, 2015

Statistical Methods and Inference参考文献 21被引用数 4

ひとこと要約

本稿では、未知かつ非定常なノイズのもとで、チューニングパラメータのキャリブレーションにワイルドブートストラップを用いることで、ノイズ分散や滑らかさに関する事前知識が不要なデータ駆動型の『最小受理』（SmA）手法を、順序付きモデル選択のために提案する。この手法は、任意のより大きなモデルに著しく劣るモデルを含まない、最も単純なモデルを選択する。理論的保証として、ノイズの不均一性を許容する条件下でもオラクルリスクバウンドを達成する。

ABSTRACT

In the problem of model selection for a given family of linear estimators, ordered by their variance, we offer a new "smallest accepted" approach motivated by Lepski's method and multiple testing theory. The procedure selects the smallest model which satisfies an acceptance rule based on comparison with all larger models. The method is completely data-driven and does not use any prior information about the variance structure of the noise: its parameters are adjusted to the underlying possibly heterogeneous noise by the so-called "propagation condition" using a wild bootstrap method. The validity of the bootstrap calibration is proved for finite samples with an explicit error bound. We provide a comprehensive theoretical study of the method and describe in detail the set of possible values of the selector \( \hat{m} \). We also establish some precise oracle error bounds for the corresponding estimator \( \hatθ = ildeθ_{\hat{m}} \) which equally applies to estimation of the whole parameter vectors, some subvector or linear mapping, as well as the estimation of a linear functional.

研究の動機と目的

• ノイズ分散が未知でかつ非定常な場合の線形推定におけるモデル選択の課題に取り組む。
• ノイズ構造や滑らかさに関する事前仮定を一切含まない、完全にデータ駆動型の手順を開発する。
• 有限標本におけるブートストラップキャリブレーションの理論的妥当性を保証し、明示的な誤差バウンドを提供する。
• 全パラメータベクトル、部分ベクトル、線形写像、線形汎関数の推定を統一的に扱う。
• 最適モデルを事前に知っている理想の手法と同等のオラクルリスクバウンドを達成する。

提案手法

• 『最小受理』（SmA）手法を提案し、任意のより大きなモデルに著しく劣らない最小のモデルを選択する。
• より小さいモデルのバイアスが、より大きなモデルのバイアスより著しく大きいかどうかを、モデル間の対比較で検定する。
• 比較検定の臨界値を推定するためにワイルドブートストラップを適用し、ノイズ分散の事前知識なしにキャリブレーションを可能にする。
• 最小限の滑らかさ仮定（ホルダー滑らかさ1/4）のもとでブートストラップキャリブレーションが有効であることを保証するための「伝搬条件」を導入する。
• すべてのより大きなモデルが、バイアス改善が著しくないという帰無仮説を棄却しない最小のインデックス m を選択子として定義する。
• 線形射影推定量とリスク分解を用いて、総誤差をバイアスと分散の和として表現する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ分散が未知でかつ非定常な状況下で、どのようにデータ駆動型のモデル選択を実行できるか？
• RQ2 ブートストラップに基づくキャリブレーション手順は、有限標本における明示的な誤差バウンドを伴って理論的妥当性を達成できるか？
• RQ3 最小受理モデルが、ノイズ構造に関する事前知識なしにオラクルリスクバウンドを達成するための条件は何か？
• RQ4 真のモデルが線形でない場合（モデル不適合時）に、この手法はどのように対処するか？
• RQ5 同一の枠組み内で、全パラメータ、部分ベクトル、線形汎関数、射影の推定を統合的に扱えるか？

主な発見

• 提案されたブートストラップキャリブレーションは有限標本において有効であり、キャリブレーションの品質に関する明示的な誤差バウンドが得られる。
• 選択された推定量に対してオラクルリスクバウンドが達成され、最適モデルを事前に知っている理想の手法と同等の性能を示す。
• ワイルドブートストラップを用いることで、未知かつ非定常なノイズに適応し、選択しきい値のキャリブレーションが可能になる。
• 『伝搬条件』により、ホルダー滑らかさ1/4という最小限の滑らかさ仮定のもとでも、ブートストラップに基づく臨界値が有効であることが保証される。
• モデル不適合に対してもロバストである。真のモデルが線形でない場合でも、適応的に最良の線形射影を選択する。
• 最小受理モデル選択子は明確に定義されており、理論的解析においてその可能な値の集合が完全に特定されている。