[论文解读] Contraction and uniform convergence of isotonic regression

Fan Yang, Rina Foygel Barber|arXiv (Cornell University)|Jun 6, 2017

Control Systems and Identification参考文献 13被引用 7

一句话总结

本文建立了使等渗回归投影算子为压缩映射的范数的必要且充分条件，引入了一种新颖的“滑动窗口范数”，从而实现非渐近、一致的置信带，且能自适应于局部信号行为。主要贡献在于提出了一套通用框架，用于分析等渗回归的收敛性，该框架可自适应于信号的局部Lipschitz性质，得到的有限样本误差界具有局部自适应性，并在整个序列上一致有效。

ABSTRACT

We consider the problem of isotonic regression, where the underlying signal $x$ is assumed to satisfy a monotonicity constraint, that is, $x$ lies in the cone $\{ x\in\mathbb{R}^n : x_1 \leq \dots \leq x_n\}$. We study the isotonic projection operator (projection to this cone), and find a necessary and sufficient condition characterizing all norms with respect to which this projection is contractive. This enables a simple and non-asymptotic analysis of the convergence properties of isotonic regression, yielding uniform confidence bands that adapt to the local Lipschitz properties of the signal.

研究动机与目标

• 刻画所有使等渗投影算子为压缩映射的范数。
• 发展一种自适应于局部信号特性的等渗回归收敛性的非渐近分析。
• 构建对信号Lipschitz行为具有局部自适应性的等渗回归一致置信带。
• 提供一种适用于等渗回归之外的形状约束回归问题的通用框架。

提出的方法

• 引入“滑动窗口范数”，一种加权ℓ1型范数，用于度量信号向量中连续区间的平均值。
• 建立一个范数确保等渗投影算子压缩的必要且充分条件——称为NUNA性质。
• 利用压缩性质推导点估计误差 |xi − iso(y)i| 的有限样本界。
• 将压缩框架应用于推导反映局部信号平滑度的一致、数据自适应置信带。
• 通过池相邻违反者算法（PAVA）分析等渗投影，将其视为在单调性锥上的凸投影。
• 证明等渗投影是压缩的，当且仅当该范数满足NUNA（非一致非扩张）性质。

实验结果

研究问题

• RQ1 哪类范数可确保等渗投影算子为压缩映射？
• RQ2 如何利用等渗回归的压缩性质推导非渐近、一致的置信带？
• RQ3 等渗回归的收敛行为能否自适应于局部信号特性，如局部Lipschitz常数？
• RQ4 滑动窗口范数在实现估计误差界局部自适应性方面起什么作用？
• RQ5 在何种条件下等渗投影不是压缩的，其特征如何刻画？

主要发现

• 等渗投影算子关于某一范数为压缩映射，当且仅当该范数满足NUNA（非一致非扩张）性质。
• 滑动窗口范数被构造以确保压缩性，从而实现非渐近、一致的置信带，且能自适应于局部信号行为。
• 推导出点估计误差 |xi − iso(y)i| 的有限样本界，并证明其对信号局部Lipschitz性质具有局部自适应性。
• 压缩框架产生在所有索引 i ∈ {1, ..., n} 上同时成立的统一误差界，无需渐近近似。
• 结果为非渐近性，适用于一般噪声模型，包括次高斯和i.i.d.高斯噪声。
• 该方法可扩展至等渗回归之外，为分析其他形状约束估计问题提供了基础。