[论文解读] Sharp oracle bounds for monotone and convex regression through aggregation

Pierre Bellec, Alexandre B. Tsybakov|arXiv (Cornell University)|Jun 29, 2015

Statistical Methods and Inference参考文献 15被引用 11

一句话总结

本文通过Q-聚合与稀疏模式聚合，为等高回归与凸回归建立了精确的Oracle不等式，领先常数为1，且对所有 $\mu \in \mathbb{R}^n$ 成立。该方法在模型误设下实现了紧致的极小极大遗憾界，同时提供了高概率与期望型保证，优于以往对约束最小二乘估计器的研究结果。

ABSTRACT

We derive oracle inequalities for the problems of isotonic and convex regression using the combination of $Q$-aggregation procedure and sparsity pattern aggregation. This improves upon the previous results including the oracle inequalities for the constrained least squares estimator. One of the improvements is that our oracle inequalities are sharp, i.e., with leading constant 1. It allows us to obtain bounds for the minimax regret thus accounting for model misspecification, which was not possible based on the previous results. Another improvement is that we obtain oracle inequalities both with high probability and in expectation.

研究动机与目标

• 在模型误设条件下，为等高回归与凸回归开发改进的Oracle不等式。
• 实现领先常数为1的精确Oracle不等式，以支持紧致的极小极大遗憾界。
• 同时提供高概率与期望型Oracle不等式，克服先前工作的局限性。
• 证明所提出估计器的速率最优性，仅相差对数因子。
• 表明Q-聚合在高概率保证方面优于其他聚合方法（如指数筛选法）

提出的方法

• 本文采用Q-聚合与稀疏模式聚合，将字典中候选模型的估计器进行组合。
• 推导出精确的Oracle不等式，即界中领先常数恰好为1，优于以往非精确结果。
• 该方法应用于单调序列（$\mathcal{S}^\uparrow$）与凸序列（$\mathcal{S}^\mathrm{C}$）类，且对所有 $\boldsymbol{\mu} \in \mathbb{R}^n$ 有效。
• 利用集中不等式与Varshamov-Gilbert界检验极小极大遗憾，建立高概率与期望型Oracle不等式。
• 估计器 $\boldsymbol{\hat{\mu}}^Q$ 与 $\boldsymbol{\hat{\mu}}^{Q-\text{conv}}$ 的构造依赖于 $\sigma^2$ 的知识，实际中通过鲁棒估计处理此问题。
• 理论保证基于Tsybakov（2009）定理2.7与Kullback-Leibler散度界，推导出极小极大下界。

实验结果

研究问题

• RQ1 在任意模型误设下，能否为等高回归与凸回归实现领先常数为1的精确Oracle不等式？
• RQ2 能否同时为单调与凸回归估计器获得高概率与期望型Oracle不等式？
• RQ3 所提出的聚合方法是否能将等高与凸回归的极小极大遗憾界控制住，且这些界在对数因子内为速率最优？
• RQ4 Q-聚合方法在高概率保证方面能否优于其他方法（如指数筛选法）？
• RQ5 所提出方法是否能在以往约束最小二乘估计器因常数不精确而失效的情况下，仍实现极小极大遗憾界？

主要发现

• 所提出的Q-聚合估计器在期望与高概率下均实现了领先常数为1的精确Oracle不等式。
• Oracle不等式对所有 $\boldsymbol{\mu} \in \mathbb{R}^n$ 有效，从而在模型误设下实现了极小极大遗憾的紧致界。
• 极小极大遗憾的界在对数因子内为速率最优，优于以往对约束最小二乘估计器的结果。
• 该方法表明 $\boldsymbol{\hat{\mu}}^Q$ 与 $\boldsymbol{\hat{\mu}}^{Q-\text{conv}}$ 达到了与最小二乘估计器相同的速率，但常数更优。
• Q-聚合的使用使得高概率界成为可能，而指数筛选法仅能提供期望型界。
• 理论结果对 $\sigma^2$ 的不确定性具有鲁棒性，只要 $\hat{\sigma}^2$ 满足 $|\hat{\sigma}^2 / \sigma^2 - 1| \leq 1/8$ 以高概率成立即可。