[论文解读] Multivariate extensions of isotonic regression and total variation denoising via entire monotonicity and Hardy-Krause variation

Billy Fang, Adityanand Guntuboyina+1 more|arXiv (Cornell University)|Mar 4, 2019

Statistical Methods and Inference参考文献 61被引用 12

一句话总结

本文提出了两种多元非参数最小二乘估计器——完全单调LSE与受限Hardy-Krause变差LSE——它们将一元等高回归和总变差去噪推广至高维。这些估计器在有限样本下风险上界为 $ n^{-2/3} $（$ d $ 的对数因子范围内），避免了维度灾难，并且当真实函数近似为分段常数矩形函数时，表现出近乎参数化的风险。

ABSTRACT

We consider the problem of nonparametric regression when the covariate is $d$-dimensional, where $d \geq 1$. In this paper we introduce and study two nonparametric least squares estimators (LSEs) in this setting---the entirely monotonic LSE and the constrained Hardy-Krause variation LSE. We show that these two LSEs are natural generalizations of univariate isotonic regression and univariate total variation denoising, respectively, to multiple dimensions. We discuss the characterization and computation of these two LSEs obtained from $n$ data points. We provide a detailed study of their risk properties under the squared error loss and fixed uniform lattice design. We show that the finite sample risk of these LSEs is always bounded from above by $n^{-2/3}$ modulo logarithmic factors depending on $d$; thus these nonparametric LSEs avoid the curse of dimensionality to some extent. We also prove nearly matching minimax lower bounds. Further, we illustrate that these LSEs are particularly useful in fitting rectangular piecewise constant functions. Specifically, we show that the risk of the entirely monotonic LSE is almost parametric (at most $1/n$ up to logarithmic factors) when the true function is well-approximable by a rectangular piecewise constant entirely monotone function with not too many constant pieces. A similar result is also shown to hold for the constrained Hardy-Krause variation LSE for a simple subclass of rectangular piecewise constant functions. We believe that the proposed LSEs yield a novel approach to estimating multivariate functions using convex optimization that avoid the curse of dimensionality to some extent.

研究动机与目标

• 开发一元等高回归与总变差去噪在多元情形下的自然推广，同时保持其理想的非参数性质。
• 通过引入形状约束估计器并实现与维度无关的风险上界，解决多元非参数回归中的维度灾难问题。
• 通过凸优化方法表征并计算两种新的最小二乘估计器——完全单调LSE与Hardy-Krause变差约束LSE。
• 在平方误差损失下建立有限样本风险上界，并证明当真实函数近似为矩形分段常数函数时，估计器表现出近乎参数化的性能。
• 证明近乎匹配的极小极大下界，确认所推导的风险率是最优的（$ d $ 的对数因子范围内）。

提出的方法

• 定义 $ \mathcal{F}_{\text{EM}}^d $ 上 $[0,1]^d$ 的完全单调函数类，将一元非递减函数推广至多维情形。
• 将完全单调LSE表述为带线性约束的凸二次规划问题，通过在 $ \mathcal{F}_{\text{EM}}^d $ 上最小化经验风险求解。
• 通过施加函数Hardy-Krause变差的上界，引入受限Hardy-Krause变差LSE，将总变差去噪推广至多元设置。
• 采用均匀格点上的函数离散网格表示，将估计器表达为有限维二次规划问题。
• 应用高斯过程与高斯宽度技术，推导估计器期望风险的上界。
• 利用高斯向量的分解技术与尾部概率不等式，控制受限参数空间上线性形式的上确界。

实验结果

研究问题

• RQ1 是否存在一种自然的多元推广形式，可将一元等高回归的分段常数拟合与风险性质推广至高维？
• RQ2 如何将总变差去噪扩展至多元非参数回归，同时保持有利的风险率？
• RQ3 这些多元估计器能否避免维度灾难，特别是从有限样本风险上界角度？
• RQ4 在何种条件下，这些估计器可实现近乎参数化的风险（即 $ O(1/n) $，忽略对数因子）？
• RQ5 在多元设置下，此类形状约束估计器的风险的极小极大下界是什么？

主要发现

• 完全单调LSE与受限Hardy-Krause变差LSE的有限样本风险上界均不超过 $ C_d n^{-2/3} $，其中 $ C_d $ 与维度 $ d $ 的对数因子相关，表明避免了维度灾难。
• 当真实函数可由少量矩形分段常数完全单调函数良好逼近时，完全单调LSE实现近乎参数化风险，上界为 $ C_d n^{-1} $（忽略对数因子）。
• 在矩形分段常数函数的一个简单子类中，受限Hardy-Krause变差LSE也表现出类似的近乎参数化风险。
• 所提出的估计器是凸优化问题（带线性约束的二次规划）的解，因此计算上可行且稳定。
• 本文建立了近乎匹配的极小极大下界，确认 $ n^{-2/3} $ 的风险率在 $ d $ 的对数因子范围内是最优的。
• 理论分析依赖于高斯宽度论证与参数空间的分解，关键界值通过高斯向量的性质与受限上确界推导得出。