[论文解读] A Tight Bound of Hard Thresholding

Jie Shen, Ping Li|arXiv (Cornell University)|Apr 1, 2018

Sparse and Compressive Sensing Techniques被引用 55

一句话总结

该论文为硬阈值算子建立了紧密的理论界，使得一种新型随机硬阈值算法在非凸稀疏学习问题中实现全局线性收敛。该界将压缩感知中的限制等距性质与稀疏性联系起来，提升了测量效率，并实现了更广泛的矩阵兼容性。

ABSTRACT

This paper is concerned with the hard thresholding operator which sets all but the $k$ largest absolute elements of a vector to zero. We establish a {\em tight} bound to quantitatively characterize the deviation of the thresholded solution from a given signal. Our theoretical result is universal in the sense that it holds for all choices of parameters, and the underlying analysis depends only on fundamental arguments in mathematical optimization. We discuss the implications for two domains: Compressed Sensing. On account of the crucial estimate, we bridge the connection between the restricted isometry property (RIP) and the sparsity parameter for a vast volume of hard thresholding based algorithms, which renders an improvement on the RIP condition especially when the true sparsity is unknown. This suggests that in essence, many more kinds of sensing matrices or fewer measurements are admissible for the data acquisition procedure. Machine Learning. In terms of large-scale machine learning, a significant yet challenging problem is learning accurate sparse models in an efficient manner. In stark contrast to prior work that attempted the $\ell_1$-relaxation for promoting sparsity, we present a novel stochastic algorithm which performs hard thresholding in each iteration, hence ensuring such parsimonious solutions. Equipped with the developed bound, we prove the {\em global linear convergence} for a number of prevalent statistical models under mild assumptions, even though the problem turns out to be non-convex.

研究动机与目标

• 建立硬阈值解与真实信号之间偏差的紧密、通用界。
• 在真实稀疏性未知的情况下，改进压缩感知中的限制等距性质（RIP）条件。
• 设计一种在每次迭代中执行硬阈值的随机算法，以在大规模机器学习中确保稀疏且简洁的模型。
• 利用推导出的界，在温和假设下证明非凸统计模型的全局线性收敛性。

提出的方法

• 基于基本优化原理，推导出硬阈值向量与原始信号之间偏差的紧密数学界。
• 将该界应用于分析压缩感知中限制等距性质（RIP）与稀疏性之间的关系，优化现有RIP条件。
• 提出一种新型随机算法，在每次迭代中应用硬阈值以保持稀疏性，而无需依赖ℓ1松弛。
• 利用理论界在温和假设下证明一系列非凸统计模型的全局线性收敛性。
• 采用基于数学基本原理的优化论证，确保界在所有参数选择下的通用性与紧密性。
• 证明该界可实现对感知矩阵的更紧密分析，从而在数据采集中允许更多矩阵或更少测量次数。

实验结果

研究问题

• RQ1 如何以通用方式紧密界定硬阈值解与真实信号之间的偏差？
• RQ2 当真实稀疏性未知时，硬阈值算法的改进限制等距性质（RIP）条件是什么？
• RQ3 一种在每次迭代中执行硬阈值的随机算法，能否在非凸稀疏学习问题中实现全局线性收敛？
• RQ4 所提出的界如何提升压缩感知中感知矩阵的适用性？

主要发现

• 建立了硬阈值偏差的紧密、通用界，适用于所有参数选择，并基于基本优化原理推导得出。
• 该界改进了压缩感知中的RIP条件，使得数据采集中可使用更多感知矩阵或更少测量次数。
• 所提出的随机算法在无需ℓ1松弛的情况下确保稀疏解，全程保持模型简洁性。
• 在温和假设下，证明了多种非凸统计模型的全局线性收敛性，鉴于问题的非凸性，这是一个重要成果。
• 理论框架表明，硬阈值算法比以往理解的更具鲁棒性和高效性，尤其在稀疏性未知时。