[论文解读] Convex Relaxation for Combinatorial Penalties

Guillaume Obozinski, Francis Bach|arXiv (Cornell University)|May 6, 2012

Sparse and Compressive Sensing Techniques参考文献 26被引用 39

一句话总结

本文提出了一种统一的凸松弛框架，用于结合基于变量支持先验知识的组合惩罚项与ℓp-范数正则化，以控制系数大小。核心贡献是下组合包络（lower combinatorial envelope）概念，该概念刻画了松弛的紧致性，并可实现对结构化稀疏性范数（如潜在组Lasso和独占Lasso）的恢复。

ABSTRACT

In this paper, we propose an unifying view of several recently proposed structured sparsity-inducing norms. We consider the situation of a model simultaneously (a) penalized by a set- function de ned on the support of the unknown parameter vector which represents prior knowledge on supports, and (b) regularized in Lp-norm. We show that the natural combinatorial optimization problems obtained may be relaxed into convex optimization problems and introduce a notion, the lower combinatorial envelope of a set-function, that characterizes the tightness of our relaxations. We moreover establish links with norms based on latent representations including the latent group Lasso and block-coding, and with norms obtained from submodular functions.

研究动机与目标

• 通过将支持上的组合惩罚项与ℓp-范数正则化相结合，统一近期提出的结构化稀疏性诱导范数。
• 开发组合优化问题的凸松弛，同时保持原始惩罚项的关键结构特性。
• 通过新概念——集合函数的下组合包络，刻画松弛的紧致性。
• 建立所提框架与现有范数（如潜在组Lasso、块编码和子模惩罚）之间的联系。
• 为高效优化与一致性分析（特别是子模情形）提供理论与算法基础。

提出的方法

• 将组合惩罚定义为 μF(Supp(w)) + ν‖w‖_p^p，其中 F 是编码支持先验知识的集合函数，‖w‖_p 为ℓp-范数。
• 引入集合函数 F 的下组合包络，即在单位ℓ∞-球上所有上界凸函数的逐点下确界。
• 将组合惩罚的凸松弛形式化为下组合包络的Fenchel共轭。
• 证明所得范数是在与ℓp-正则化结合时，原始组合惩罚的最紧凸松弛。
• 在块结构支持情形下，建立所提松弛与潜在组Lasso之间的等价性。
• 针对子模情形，提供高效算法与一致性结果，利用Fenchel对偶性与子模函数性质。

实验结果

研究问题

• RQ1 如何在保持结构特性的同时，对变量支持上的组合惩罚项进行凸松弛？
• RQ2 组合惩罚与ℓp-范数结合的最紧凸松弛是什么？
• RQ3 所提框架与现有结构化稀疏性范数（如潜在组Lasso和独占Lasso）有何关系？
• RQ4 在集合函数 F 满足何种条件（如子模性）时，可保证高效优化与一致性？
• RQ5 编码于 F 中的不同先验假设对估计性能（以汉明距离与ℓ2误差衡量）有何影响？

主要发现

• 所提凸松弛框架可恢复经典范数，如ℓ1、ℓ1/ℓp 与 ℓp/ℓ1，作为特例。
• 证明潜在组Lasso是块编码惩罚的最紧凸松弛，建立了两大结构化稀疏性框架之间的原理性联系。
• 对于子模函数，该框架可通过Fenchel对偶实现高效优化，并提供理论一致性保证。
• 实验表明，当真实信号在其支持上为常数时，ℓ∞-基松弛（Ω∞^F）在汉明距离上优于其他方法，归因于系数聚类效应。
• 在非恒定信号情形下，ℓ1-正则化通常产生更低的最小二乘误差，表明先验假设与估计精度之间存在权衡。
• 下组合包络刻画了松弛的紧致性，并作为分析组合惩罚凸松弛的关键理论工具。