[论文解读] Isotonic regression in general dimensions

Qiyang Han, Tengyao Wang+2 more|arXiv (Cornell University)|Aug 30, 2017

Statistical Methods and Inference参考文献 51被引用 20

一句话总结

本文在固定格点设计和随机设计下，建立了 d ≥ 3 维一般维度下等高回归的极小极大最优速率。证明了最小二乘估计量在经验 L² 损失下达到 n^{-min(2/(d+2), 1/d)} 阶的收敛速率，当真实函数在 k 个超长方体上为分段常数时，其自适应速率可达 (k/n)^{min(1,2/d)}，仅相差对数因子。

ABSTRACT

We study the least squares regression function estimator over the class of real-valued functions on $[0,1]^d$ that are increasing in each coordinate. For uniformly bounded signals and with a fixed, cubic lattice design, we establish that the estimator achieves the minimax rate of order $n^{-\min\{2/(d+2),1/d\}}$ in the empirical $L_2$ loss, up to poly-logarithmic factors. Further, we prove a sharp oracle inequality, which reveals in particular that when the true regression function is piecewise constant on $k$ hyperrectangles, the least squares estimator enjoys a faster, adaptive rate of convergence of $(k/n)^{\min(1,2/d)}$, again up to poly-logarithmic factors. Previous results are confined to the case $d \leq 2$. Finally, we establish corresponding bounds (which are new even in the case $d=2$) in the more challenging random design setting. There are two surprising features of these results: first, they demonstrate that it is possible for a global empirical risk minimisation procedure to be rate optimal up to poly-logarithmic factors even when the corresponding entropy integral for the function class diverges rapidly; second, they indicate that the adaptation rate for shape-constrained estimators can be strictly worse than the parametric rate.

研究动机与目标

• 在一般维度 d ≥ 3 下建立等高回归的极小极大风险边界。
• 推导出精确的 oracle 不等式，表明对具有 k 个超长方体分段常数信号的自适应性。
• 将先前局限于 d ≤ 2 的结果推广至更高维的固定设计与随机设计设置。
• 分析最小二乘估计量在经验风险方面的表现，包括其收敛速率与自适应性。

提出的方法

• 将等高回归的几何解释为基于设计点诱导的有向无环图所定义的多面体凸锥 M(GX) 上的投影。
• 应用对称化经验过程理论与熵积分界，以控制等高函数类上的经验过程。
• 采用 bracketing 熵与熵积分技术，控制函数类 F⁺_{d,↓} ∩ B₂(r) ∩ B∞(1) 的复杂度。
• 通过结合经验过程界与将风险分解为逼近误差与估计误差项的方法，推导出精确的 oracle 不等式。
• 使用递归积分方法与缩放技术，以界定 [0,1]^d 中条带区域上包络函数的 L² 范数。
• 应用等高估计量的极小极大表示，以推导出上确范数的尾部界。

实验结果

研究问题

• RQ1 在固定格点设计下，d ≥ 3 维等高回归的极小极大收敛速率为何？
• RQ2 当真实回归函数在高维中为 k 个超长方体上的分段常数时，最小二乘等高估计量能否实现自适应速率？
• RQ3 与固定设计相比，等高回归的风险边界在更具挑战性的随机设计设置下表现如何？
• RQ4 等高函数类的熵积分是否会迅速发散？若是，估计量是否仍能保持在对数因子范围内的最优速率？
• RQ5 高维中形状约束估计量的自适应速率是否可能严格劣于参数速率？

主要发现

• 在固定格点设计下，最小二乘等高估计量在经验 L² 损失下达到 n^{-min(2/(d+2), 1/d)} 阶的极小极大速率，仅相差对数因子。
• 对于在 k 个超长方体上为分段常数的信号，估计量以 (k/n)^{min(1,2/d)} 的速率实现自适应，快于最坏情况速率。
• 本文建立了精确的 oracle 不等式，表明风险被逼近误差与 (k(θ)/n)^{2/d} log^8(en/k(θ)) 项之和所界定，其中 k(θ) 为常数块的数量。
• 在随机设计设置下，实现了相同的速率，表明即使熵积分迅速发散，全局经验风险最小化仍可达到最优速率。
• 结果表明，高维中等高回归的自适应速率可能严格劣于参数速率，挑战了“形状约束总能带来参数速率”的直觉。
• 本文首次为 d ≥ 3 维的等高回归提供了风险边界，将先前局限于 d ≤ 2 的结果进行了扩展。