[论文解读] Denoising and change point localisation in piecewise-constant high-dimensional regression coefficients

Fan Wang, Oscar Hernán Madrid Padilla+2 more|arXiv (Cornell University)|Oct 27, 2021

Statistical Methods and Inference参考文献 36被引用 5

一句话总结

本文提出了一种专为高维分段常数回归中融合lasso估计器量身定制的新受限等距条件，推导了约束型与惩罚型融合lasso的估计误差界。结果表明，估计误差由lasso或融合lasso速率主导，具体取决于非零系数与变点数之比；并提出一种后处理程序，可实现对真实分段常数结构的改进变点定位。

ABSTRACT

We study the theoretical properties of the fused lasso procedure originally proposed by \cite{tibshirani2005sparsity} in the context of a linear regression model in which the regression coefficient are totally ordered and assumed to be sparse and piecewise constant. Despite its popularity, to the best of our knowledge, estimation error bounds in high-dimensional settings have only been obtained for the simple case in which the design matrix is the identity matrix. We formulate a novel restricted isometry condition on the design matrix that is tailored to the fused lasso estimator and derive estimation bounds for both the constrained version of the fused lasso assuming dense coefficients and for its penalised version. We observe that the estimation error can be dominated by either the lasso or the fused lasso rate, depending on whether the number of non-zero coefficient is larger than the number of piece-wise constant segments. Finally, we devise a post-processing procedure to recover the piecewise-constant pattern of the coefficients. Extensive numerical experiments support our theoretical findings.

研究动机与目标

• 解决在非单位设计矩阵的高维设置下，融合lasso缺乏理论误差界的问题。
• 将高维回归系数建模为具有未知变点的分段常数形式，放宽标准的逐元素稀疏性假设。
• 在回归系数中同时实现精确去噪与精确的变点定位。
• 开发一种后处理程序，以提升从融合lasso估计中恢复真实分段常数结构的能力。
• 在专为融合lasso估计器设计的新设计条件下，建立理论性能保证。

提出的方法

• 为高维设置下融合lasso估计器在设计矩阵上提出一种新型受限等距条件。
• 在该新条件下，推导了融合lasso约束型与惩罚型版本的估计误差界。
• 提出一种后处理算法，以改进融合lasso估计，更好地恢复真实分段常数系数结构。
• 分析lasso与融合lasso速率之间的权衡，表明主导速率取决于非零系数与变点数之比。
• 采用Hausdorff距离度量评估变点定位精度，比较估计与真实变点集合。
• 在具有带状协方差结构的高斯随机矩阵上进行大量数值实验，以验证理论发现。

实验结果

研究问题

• RQ1 在一般设计矩阵下，高维分段常数回归中融合lasso的最优估计误差率是什么？
• RQ2 非零系数相对数量与变点数之间的关系如何影响估计误差率？
• RQ3 后处理程序能否改善从融合lasso估计中恢复真实分段常数结构的能力？
• RQ4 在何种设计矩阵条件下，融合lasso能实现最优去噪与变点定位？
• RQ5 所提出的受限等距条件与现有条件（如c-RIP）相比，在理论保证方面有何差异？

主要发现

• 当非零系数数量超过变点数时，估计误差由lasso速率主导；否则由融合lasso速率主导。
• 在 $ h=10 $，$ n/p=0.5 $，且 $ au=2 $ 的模拟中，FLMTF方法实现 $ |S(\tilde{x})-S| = 1.13(0.66) $，显著优于FL与FLMF。
• 当 $ \tau=4 $ 时，ITALE方法实现最低的 $ |S(\tilde{x})-S| = 0.26(1.06) $，表明在高噪声条件下具有更优的变点定位性能。
• 当 $ \tau=0.5 $ 时，FLMTF方法实现 $ d(S(\tilde{x})|S_0) = 19.75(5.95) $，表明在识别真实变点方面表现强劲。
• 所提出的后处理程序显著降低了估计与真实变点之间Hausdorff距离，尤其在高噪声环境下。
• 新型受限等距条件使融合lasso在一般设计矩阵下具备理论误差界，突破了仅限于单位矩阵的限制。