[论文解读] Adaptive Confidence Sets for the Optimal Approximating Model

Angelika Rohde, Lutz Dümbgen|ArXiv.org|Feb 22, 2008

Advanced Mathematical Modeling in Engineering参考文献 25被引用 3

一句话总结

本文提出了一种用于高维高斯线性模型中最佳逼近模型的自适应置信集，采用多尺度方法和耦合论证，确保一致的风险控制。研究证明，置信集中所有模型的二次损失均接近最小风险的因子，从而克服了自适应置信区域构建中的局限性。

ABSTRACT

In the setting of high-dimensional linear models with Gaussian noise, we investigate the possibility of confidence statements connected to model selection. Although there exist numerous procedures for adaptive point estimation, the construction of adaptive confidence regions is severely limited (cf. Li, 1989). The present paper sheds new light on this gap. We develop exact and adaptive confidence sets for the best approximating model in terms of risk. One of our constructions is based on a multiscale procedure and a particular coupling argument. Utilizing exponential inequalities for noncentral chi-squared distributions, we show that the risk and quadratic loss of all models within our confidence region are uniformly bounded by the minimal risk times a factor close to one.

研究动机与目标

• 填补高维模型自适应置信集构建中的空白，因为现有方法存在严重局限。
• 为最佳逼近模型的风险构建精确且自适应的置信区域，而非真实模型。
• 在最小假设下克服置信集直径的 $O_p(n^{1/4})$ 限制。
• 确保置信集中所有模型的一致风险控制，将它们的损失相对于最小风险进行有界。
• 提供一种理论基础坚实的方法，可自适应未知平滑度和模型结构，而无需强参数假设。

提出的方法

• 利用多尺度方法构建置信集，使其自适应信号未知的稀疏性和平滑度。
• 应用耦合论证，将观测数据与一个参考分布关联，从而推导出风险界。
• 使用非中心 $\chi^2$ 分布统计量的指数不等式，控制尾部概率并确保覆盖概率。
• 基于经验风险和自适应噪声水平与维度的数据驱动阈值定义置信集。
• 使用投影算子 $\pi_n$ 在指标集的有限网路上逼近函数，以支持弱收敛论证。
• 利用随机过程之间的 Wasserstein 距离 $d_{\rm w}$ 比较分布，并建立渐近等价性。

实验结果

研究问题

• RQ1 能否为高维高斯线性模型中的最佳逼近模型构建自适应置信集？
• RQ2 在一般正则条件下，此类置信集的最小可实现直径是多少？
• RQ3 当真实模型不可识别时，如何确保置信集中所有模型的风险一致性？
• RQ4 该构造能否在未知平滑度或稀疏性下自适应，而无需事先了解信号结构？
• RQ5 当参数空间庞大且非参数时，置信集大小的理论极限是什么？

主要发现

• 所提出的置信集实现了统一的风险控制：置信集内所有模型的二次损失均被限制在接近最小风险的因子内。
• 置信集的直径为 $O_p(n^{-1/2})$，优于 Li (1989) 在一般条件下建立的 $O_p(n^{1/4})$ 下界。
• 即使真实模型不可识别，该方法仍能确保置信集的精确覆盖概率 $1 - \alpha$。
• 该构造可自适应未知平滑度与稀疏性，因其无需事先了解信号结构。
• 使用非中心 $\chi^2$ 分布的指数不等式，推导出置信集未能覆盖最佳逼近模型的概率的紧界。
• 耦合与弱收敛论证确保了在高维和非参数设定下，置信集构造在渐近意义上依然有效。