[论文解读] Group sparse optimization via $\ell_{p,q}$ regularization

Yaohua Hu, Chong Li+3 more|arXiv (Cornell University)|Jan 28, 2016

Sparse and Compressive Sensing Techniques参考文献 56被引用 15

一句话总结

本文提出了一种基于 ℓ_{p,q} 正则化的组稀疏优化框架，以在高维数据中提升稀疏性和恢复精度。该研究建立了理论恢复边界，开发了一种具有线性收敛性的近端梯度方法用于求解 ℓ_{1,q} 问题，并在真实和模拟数据上的基因调控网络推断任务中展示了优越性能。

ABSTRACT

In this paper, we investigate a group sparse optimization problem via $\ell_{p,q}$ regularization in three aspects: theory, algorithm and application. In the theoretical aspect, by introducing a notion of group restricted eigenvalue condition, we establish some oracle property and a global recovery bound of order $O(λ^\frac{2}{2-q})$ for any point in a level set of the $\ell_{p,q}$ regularization problem, and by virtue of modern variational analysis techniques, we also provide a local analysis of recovery bound of order $O(λ^2)$ for a path of local minima. In the algorithmic aspect, we apply the well-known proximal gradient method to solve the $\ell_{p,q}$ regularization problems, either by analytically solving some specific $\ell_{p,q}$ regularization subproblems, or by using the Newton method to solve general $\ell_{p,q}$ regularization subproblems. In particular, we establish the linear convergence rate of the proximal gradient method for solving the $\ell_{1,q}$ regularization problem under some mild conditions. As a consequence, the linear convergence rate of proximal gradient method for solving the usual $\ell_{q}$ regularization problem ($0

研究动机与目标

• 为解决传统 ℓ₁ 正则化在高维、欠定系统中难以实现强稀疏性的问题。
• 开发一种非凸的 ℓ_{p,q} 正则化框架，以促进组稀疏性并提高恢复精度。
• 在组受限特征值条件下，为 ℓ_{p,q} 正则化建立理论恢复边界。
• 设计并分析一种用于 ℓ_{1,q} 和 ℓ_{p,q} 问题的近端梯度方法，实现线性收敛。
• 利用高通量和低通量生物黄金标准数据，在真实基因转录调控数据上验证该方法。

提出的方法

• 引入组受限特征值条件，以分析 ℓ_{p,q} 正则化的恢复特性。
• 应用近端梯度方法求解 ℓ_{p,q} 子问题，特定情况下可获得解析解，一般情况下采用牛顿法。
• 在较弱条件下，证明了近端梯度方法在 ℓ_{1,q} 正则化下的线性收敛性。
• 基于逆稀疏度水平设计评分函数，用于对预测的转录因子-靶标相互作用进行排序，以评估 AUC。
• 在网络推断验证中，同时采用高通量（ChIP-Array）和低通量（文献验证）的黄金标准数据集。
• 应用 Kurdyka-Łojasiewicz 理论，证明近端梯度方法全局收敛至临界点。

实验结果

研究问题

• RQ1 当 0 < q < 1 且 p ≥ 1 时，ℓ_{p,q} 正则化是否能比 ℓ₁ 正则化实现更好的组稀疏性和恢复精度？
• RQ2 在组受限特征值条件下，ℓ_{p,q} 正则化可建立怎样的理论恢复边界？
• RQ3 当 0 < q < 1 时，近端梯度方法是否对 ℓ_{1,q} 和 ℓ_{p,q} 问题实现线性收敛？
• RQ4 与标准的 ℓ₁ 和 ℓ₀ 方法相比，ℓ_{p,q} 正则化在真实世界基因调控网络推断中的表现如何？
• RQ5 所提出的方法是否能在高通量和低通量生物黄金标准上均实现高 AUC？

主要发现

• 论文为 ℓ_{p,q} 正则化问题任意水平集中的点建立了全局恢复边界，其阶为 O(λ^{2/(2−q)})。
• 通过变分分析，为局部极小值路径推导出阶为 O(λ²) 的局部恢复边界。
• 在较弱条件下，近端梯度方法对 ℓ_{1,q} 正则化实现线性收敛，这意味着对 0 < q < 1 的 ℓ_q 正则化也实现线性收敛。
• 在高通量黄金标准数据上，ℓ_{2,1/2}、ℓ_{1,1/2} 和 ℓ_{2,0} 正则化达到几乎相同的 AUC 值，且显著优于 ℓ_{2,1}。
• 在低通量黄金标准数据上，ℓ_{1,1/2} 略优于 ℓ_{2,1/2} 和 ℓ_{2,0}，且三者均显著优于 ℓ_{2,1}。
• 研究表明，ℓ_{p,1/2} 和 ℓ_{p,0} 正则化在样本有限的系统中对基因调控网络推断有效，可实现生物上准确的网络重构。