[论文解读] Adaptive Non-Parametric Regression With the $K$-NN Fused Lasso

Oscar Hernán Madrid Padilla, James Sharpnack+2 more|arXiv (Cornell University)|Jul 31, 2018

Statistical Methods and Inference参考文献 57被引用 3

一句话总结

本文提出了K-NN融合lasso，一种非参数回归方法，通过将K近邻（K-NN）图构建与融合lasso正则化相结合，实现局部自适应和流形自适应。该方法在不规则分布的设计点上，对分段Lipschitz函数和有界变差函数实现了近乎极小极大最优的均方误差率。

ABSTRACT

The fused lasso, also known as total-variation denoising, is a locally-adaptive function estimator over a regular grid of design points. In this paper, we extend the fused lasso to settings in which the points do not occur on a regular grid, leading to an approach for non-parametric regression. This approach, which we call the $K$-nearest neighbors ($K$-NN) fused lasso, involves (i) computing the $K$-NN graph of the design points; and (ii) performing the fused lasso over this $K$-NN graph. We show that this procedure has a number of theoretical advantages over competing approaches: specifically, it inherits local adaptivity from its connection to the fused lasso, and it inherits manifold adaptivity from its connection to the $K$-NN approach. We show that excellent results are obtained in a simulation study and on an application to flu data. For completeness, we also study an estimator that makes use of an $ε$-graph rather than a $K$-NN graph, and contrast this with the $K$-NN fused lasso.

研究动机与目标

• 将原本专为规则网格设计的融合lasso方法扩展至非参数回归中的不规则分布设计点。
• 通过利用K-NN图结构捕捉局部密度变化，赋予融合lasso方法局部自适应能力。
• 通过允许方法自适应数据流形的内在维度，实现流形自适应。
• 在一般设计点配置下，提供估计误差和一致性的理论保证。
• 将K-NN融合lasso与基于ε-图的替代估计器进行比较，并在真实数据和模拟数据上评估性能。

提出的方法

• 使用度量 $d_{\text{X}}$ 在设计点 $x_1, \tdots, x_n$ 上构建K-NN图，其中每个点连接其K个最近邻。
• 通过求解优化问题 $\min_{\theta \in \mathbb{R}^n} \left\{ \frac{1}{2} \sum_{i=1}^n (y_i - \theta_i)^2 + \lambda \sum_{(i,j) \in E} |\theta_i - \theta_j| \right\}$ 在K-NN图上应用融合lasso正则化，其中 $E$ 是K-NN图的边集。
• 将所得估计器 $\hat{\theta}_i$ 用作每个设计点处的预测值 $\hat{f}(x_i)$。
• 理论分析依赖于在设计密度和函数平滑性满足正则性假设时，通过概率浓度不等式控制图的度数和网格计数。
• 通过与总变差去噪和基于图的正则化建立联系，证明了一致性和近乎极小极大最优的误差率。
• 与ε-图变体进行比较，其中边在距离ε以内的点之间形成，并在类似假设下分析其理论性能。

实验结果

研究问题

• RQ1 融合lasso能否在保持其局部自适应性和理论最优性的同时，被扩展到不规则分布的设计点？
• RQ2 将融合lasso与K-NN图构建相结合，是否能产生一种能自适应数据流形内在维度的方法？
• RQ3 在一般设计配置下，K-NN融合lasso的理论误差界和一致性性质是什么？
• RQ4 与基于ε-图的替代方法相比，K-NN融合lasso在估计精度和理论保证方面表现如何？
• RQ5 该方法能否在不规则网格上对分段Lipschitz函数和有界变差函数实现近乎极小极大最优的均方误差率？

主要发现

• K-NN融合lasso继承了融合lasso的局部自适应性，使在设计点密度较高的区域中估计效果更优。
• 该方法通过根据局部点密度自动调整分辨率，实现流形自适应，从而在非均匀采样数据中提升性能。
• 理论分析表明，在正则性条件下，K-NN融合lasso估计器的均方误差满足 $\mathbb{E}\left[\sum_{i=1}^n (\theta_i^* - \hat{\theta}_{K,i})^2 \mid \Lambda\right] \geq C_1 n^{3/4 - a}$，其中 $C_1 > 0$ 且 $a > 0$ 足够小。
• 当沿K-NN图的信号总变差除以 $n$ 趋近于零时，该方法在去噪任务中是一致的。
• 类似理论保证也适用于ε-图变体，在类似假设下具有相近的误差界。
• 模拟研究和对流感数据的应用表明，该方法表现出强劲的实证性能，相较于其他非参数方法，估计精度显著提升。