[论文解读] A totally unimodular view of structured sparsity

Marwa El Halabi, Volkan Cevher|arXiv (Cornell University)|Nov 7, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用 7

一句话总结

本文提出了一种统一框架，通过在线性规划中使用全幺模（TU）约束矩阵，实现结构化稀疏恢复，从而获得计算上可处理的紧致凸松弛。通过使用TU线性不等式建模结构化稀疏性，该方法确保通过线性规划获得精确整数解，揭示了层次Lasso和排斥Lasso等范数是其组合对应物的紧致凸化。

ABSTRACT

This paper describes a simple framework for structured sparse recovery based on convex optimization. We show that many structured sparsity models can be naturally represented by linear matrix inequalities on the support of the unknown parameters, where the constraint matrix has a totally unimodular (TU) structure. For such structured models, tight convex relaxations can be obtained in polynomial time via linear programming. Our modeling framework unifies the prevalent structured sparsity norms in the literature, introduces new interesting ones, and renders their tightness and tractability arguments transparent.

研究动机与目标

• 通过利用全幺模（TU）约束矩阵，在凸优化中统一并推广结构化稀疏性模型。
• 建立一种透明、系统化的方法，用于推导组合稀疏性模型的紧致凸松弛。
• 证明TU结构可实现稀疏恢复问题的多项式时间求解和精确整数解。
• 超越次模模型，为非次模稀疏模式（如排斥组结构）推导紧致凸化。
• 通过展示其在TU约束下的凸包形式，阐明广泛使用的范数（如潜在组Lasso、层次Lasso）的理论基础。

提出的方法

• 将结构化稀疏性建模为具有全幺模（TU）约束矩阵的线性矩阵不等式，确保积分多面体以实现精确优化。
• 使用Fenchel共轭对偶推导组合稀疏性模型的凸包，当约束为TU时可保证紧致松弛。
• 利用TU矩阵在线性规划中产生整数解的性质，通过凸松弛实现稀疏支持的精确恢复。
• 将诱导稀疏性的惩罚项表述为二值变量与连续变量之间的极小-极大问题，约束条件编码结构依赖关系（如树、组或图基模型）。
• 采用线性化技术，将非线性组合惩罚（如排斥Lasso中的乘积项）转换为TU约束下的线性规划。
• 验证已知模型（如层次、组、排斥Lasso）中的TU结构，并通过所提框架推导其最紧致的凸松弛。

实验结果

研究问题

• RQ1 能否开发一个统一框架，利用全幺模约束为多种结构化稀疏性模型推导紧致凸松弛？
• RQ2 为何某些范数（如层次Lasso和排斥Lasso）能实现紧致凸化？其背后的结构性质是什么？
• RQ3 当其约束矩阵为全幺模时，如何高效计算组合稀疏性模型的凸包？
• RQ4 TU矩阵在确保凸松弛产生稀疏恢复的精确整数解方面起什么作用？
• RQ5 该框架能否扩展至次模模型之外，以包含非次模稀疏模式（如重叠或排斥组结构）？

主要发现

• 在单位ℓ∞-球上，树ℓ₀-范数的凸包即为层次组Lasso范数，其表达式为所有节点-后代组的ℓ∞-范数之和。
• 通过TU方法推导其凸包，证明了潜在组Lasso范数是组ℓ₀-范数的最紧致凸化。
• 由于其底层约束矩阵具有TU结构，排斥Lasso范数即使在重叠组情况下也被证明是紧致的。
• 稀疏组Lasso无法采用TU形式化，解释了为何其凸松弛本质上比TU基模型更松散。
• 对于任意TU约束的稀疏性模型，其凸包可通过线性规划在多项式时间内计算，确保可计算且精确的解恢复。
• 该框架揭示，组合稀疏性模型的凸化等价于在TU多面体上求解线性规划，且最优解为整数。