[论文解读] Bootstrap tuning in ordered model selection

Vladimir Spokoiny, Niklas Willrich|arXiv (Cornell University)|Jul 17, 2015

Statistical Methods and Inference参考文献 21被引用 4

一句话总结

该论文提出了一种数据驱动的‘最小可接受’（SmA）方法，用于有序模型选择，该方法选择的是未被任何更大模型显著超越的最简模型，通过使用异方差性未知条件下的野生自助法校准调优参数。该方法在无需事先知晓噪声方差或光滑性的情况下，实现了Oracle风险界。

ABSTRACT

In the problem of model selection for a given family of linear estimators, ordered by their variance, we offer a new "smallest accepted" approach motivated by Lepski's method and multiple testing theory. The procedure selects the smallest model which satisfies an acceptance rule based on comparison with all larger models. The method is completely data-driven and does not use any prior information about the variance structure of the noise: its parameters are adjusted to the underlying possibly heterogeneous noise by the so-called "propagation condition" using a wild bootstrap method. The validity of the bootstrap calibration is proved for finite samples with an explicit error bound. We provide a comprehensive theoretical study of the method and describe in detail the set of possible values of the selector \( \hat{m} \). We also establish some precise oracle error bounds for the corresponding estimator \( \hatθ = ildeθ_{\hat{m}} \) which equally applies to estimation of the whole parameter vectors, some subvector or linear mapping, as well as the estimation of a linear functional.

研究动机与目标

• 解决噪声方差未知且可能异方差时在线性估计中进行模型选择的挑战。
• 提出一种完全数据驱动的程序，避免对噪声结构或光滑性做出先验假设。
• 为自助法校准提供有限样本有效性的理论保证，并给出明确的误差界。
• 统一全参数向量、子向量、线性映射和线性泛函的估计模型选择。
• 实现与已知最优模型的理想方法相当的Oracle风险界。

提出的方法

• 提出‘最小可接受’（SmA）方法，选择未被任何更大模型显著超越的最小模型。
• 通过模型间的成对比较，检验较小模型的偏差是否显著大于较大模型的偏差。
• 应用野生自助法估计比较检验的临界值，从而在无需事先知晓噪声方差的情况下实现校准。
• 引入‘传播条件’，以确保在最小光滑性假设（Hölder光滑性1/4）下自助法校准的有效性。
• 将选择器定义为最小索引m，使得所有更大的模型均无法拒绝‘无显著偏差改善’的原假设。
• 使用线性投影估计器和风险分解，将总误差表示为偏差与方差分量之和。

实验结果

研究问题

• RQ1 当噪声方差未知且可能异方差时，如何以数据驱动方式执行模型选择？
• RQ2 基于自助法的校准程序是否能在模型选择中实现理论有效性，并给出明确的有限样本误差界？
• RQ3 在未知噪声结构的情况下，何种条件可确保最小可接受模型实现Oracle风险界？
• RQ4 当真实模型非线性时，该方法如何处理模型设定错误？
• RQ5 该方法能否在单一框架下统一全参数、子向量、线性泛函和投影的估计？

主要发现

• 所提出的自助法校准在有限样本下有效，且对校准质量给出了明确的误差界。
• 所选估计器实现了Oracle风险界，其性能与已知最优模型的理想方法相当。
• 该方法通过使用野生自助法校准选择阈值，自适应地适应未知且异方差的噪声。
• ‘传播条件’确保了即使在最小光滑性假设（Hölder光滑性1/4）下，基于自助法的临界值也有效。
• 该方法对模型设定错误具有鲁棒性，因为在真实模型非线性时，它能自适应地选择最佳线性投影。
• 最小可接受模型选择器定义明确，其可能取值集合在理论分析中得到了完整刻画。