[论文解读] Between hard and soft thresholding: optimal iterative thresholding algorithms

Haoyang Liu, Rina Foygel Barber|arXiv (Cornell University)|Apr 24, 2018

Sparse and Compressive Sensing Techniques参考文献 27被引用 9

一句话总结

本文提出了一类新型迭代阈值算法，通过优化一种称为相对凹度的新度量，其性能优于传统的硬阈值和软阈值。所提出的倒数阈值和 ℓq 阈值（其中 q ∈ (0,1)）在稀疏线性回归中实现了最优的收敛保证，预测误差界与套索（Lasso）相当，且对条件数 κ 的依赖性更优。

ABSTRACT

Iterative thresholding algorithms seek to optimize a differentiable objective function over a sparsity or rank constraint by alternating between gradient steps that reduce the objective, and thresholding steps that enforce the constraint. This work examines the choice of the thresholding operator, and asks whether it is possible to achieve stronger guarantees than what is possible with hard thresholding. We develop the notion of relative concavity of a thresholding operator, a quantity that characterizes the worst-case convergence performance of any thresholding operator on the target optimization problem. Surprisingly, we find that commonly used thresholding operators, such as hard thresholding and soft thresholding, are suboptimal in terms of worst-case convergence guarantees. Instead, a general class of thresholding operators, lying between hard thresholding and soft thresholding, is shown to be optimal with the strongest possible convergence guarantee among all thresholding operators. Examples of this general class includes $\ell_q$ thresholding with appropriate choices of $q$, and a newly defined {\em reciprocal thresholding} operator. We also investigate the implications of the improved optimization guarantee in the statistical setting of sparse linear regression, and show that this new class of thresholding operators attain the optimal rate for computationally efficient estimators, matching the Lasso.

研究动机与目标

• 识别在稀疏优化中提供强于硬阈值或软阈值的最坏情况收敛保证的阈值算子。
• 构建一个理论框架——相对凹度，用于表征任意阈值算子在一大类可微、稀疏性约束优化问题中的性能。
• 设计一类新的阈值算子，包括倒数阈值和 ℓq 阈值，使其在最坏情况收敛性方面达到最优或近似最优。
• 证明这些新算子在稀疏线性回归中可达到与套索相同的统计预测误差率，同时具备计算高效性。

提出的方法

• 引入相对凹度的概念，作为评估任意阈值算子在迭代稀疏优化中最坏情况收敛性能的度量。
• 定义一类介于硬阈值和软阈值之间的通用阈值算子类，包括 q ∈ (0,1) 的 ℓq 阈值，以及新提出的倒数阈值算子。
• 证明在受限强凸性和光滑性假设下，该类算子在所有阈值算子中实现了最强的收敛保证。
• 推导使用这些算子的迭代阈值算法的收敛界，表明其对条件数 κ 的依赖性优于硬阈值。
• 将该框架应用于稀疏线性回归，证明新算法可达到与套索相同的预测误差率。
• 证明倒数阈值算子具有闭式更新，支持高效实现。

实验结果

研究问题

• RQ1 是否可以基于最坏情况收敛性能，系统性地评估和比较稀疏优化中各类阈值算子？
• RQ2 在稀疏性约束最小化中，硬阈值或软阈值是否在收敛保证方面达到最优？
• RQ3 能否构造一类新的阈值算子，使其在收敛速度方面优于硬阈值和软阈值？
• RQ4 这些新算子在稀疏线性回归中是否能达到与套索相同的统计性能？
• RQ5 倒数阈值算子是否是现有阈值方法在理论保证强的前提下，一种实用且高效的替代方案？

主要发现

• 阈值算子的相对凹度完全刻画了其在所有可微、稀疏性约束优化问题中最坏情况收敛性能。
• 常用的阈值算子如硬阈值和软阈值在最坏情况收敛保证方面均非最优。
• 一类通用的阈值算子（包括 q ∈ (0,1) 的 ℓq 阈值和新定义的倒数阈值）实现了最优收敛保证。
• 在稀疏线性回归中，使用倒数算子的迭代阈值算法可达到预测误差界为 O(κ · (σ² s₀ log d)/n)，与套索的最优率一致。
• 倒数阈值算子具有闭式更新，支持高效且实用的实现，同时具备强大的理论性能。
• 新算法的收敛速率对条件数 κ 的依赖为 κ 因子，而非 κ²，显著提升了对病态条件的鲁棒性。