[论文解读] Combinatorial Penalties: Which structures are preserved by convex relaxations?

Marwa El Halabi, Francis Bach+1 more|Infoscience (Ecole Polytechnique Fédérale de Lausanne)|Oct 17, 2017

Statistical Methods and Inference参考文献 4被引用 6

一句话总结

本文提出了一种用于结构化稀疏性中组合惩罚的非齐次凸松弛框架，表明其相较于齐次松弛能保留更广泛的单调集合函数类。该文提出一种自适应估计器，给出了无需不可表示性假设的支持恢复充分条件，并在数值实验中展示了其在支持恢复性能上优于标准Lasso和其他凸松弛方法。

ABSTRACT

We consider the homogeneous and the non-homogeneous convex relaxations for combinatorial penalty functions defined on support sets. Our study identifies key differences in the tightness of the resulting relaxations through the notion of the lower combinatorial envelope of a set-function along with new necessary conditions for support identification. We then propose a general adaptive estimator for convex monotone regularizers, and derive new sufficient conditions for support recovery in the asymptotic setting.

研究动机与目标

• 理解非齐次凸松弛相较于齐次松弛能保留哪些组合结构。
• 推导一般凸惩罚正则化学习中支持恢复的必要与充分条件。
• 提出一种自适应权重估计方案，确保在渐近条件下实现支持恢复，而无需依赖不可表示性条件。
• 识别组合惩罚的充分条件，以保证其凸松弛能保留足够结构以实现可靠的支持恢复。
• 通过数值实验验证非齐次松弛与自适应权重在支持恢复性能上的优越性。

提出的方法

• 利用下组合包络概念，构建ℓp-正则化组合惩罚的最紧致非齐次凸松弛。
• 使用Fenchel-Legendre共轭与亚模函数分析，刻画单调集合函数的凸松弛。
• 基于初始最小二乘估计提出一种自适应权重方案，其中权重与|w⁰|^{α−1}成正比，α ∈ (0,1)。
• 通过稳定性与次微分分析，在渐近框架下推导支持恢复的充分条件。
• 对特定松弛（如Θ∞r范围函数）采用二次规划形式，结合区间约束。
• 通过回归实验验证结果，使用相关与i.i.d.设计矩阵，以汉明距离与最小二乘误差作为度量。

实验结果

研究问题

• RQ1 非齐次凸松弛相较于齐次松弛能保留哪些组合结构？
• RQ2 在由一般凸惩罚正则化的学习问题中，支持恢复的必要与充分条件是什么？
• RQ3 自适应权重方案是否可在不依赖不可表示性条件的情况下确保支持恢复？
• RQ4 松弛选择（齐次 vs. 非齐次）与自适应权重如何影响支持恢复性能？
• RQ5 组合惩罚在何种条件下，其凸松弛能保留足够结构以实现可靠的支持恢复？

主要发现

• 非齐次凸松弛保留了所有单调集合函数，而齐次松弛仅保留其中一部分，如亚模函数。
• 范围函数（Θ∞r）的ℓ∞-非齐次凸包络在所有实验设置中均优于ℓ1-范数（齐次松弛）的支持恢复性能。
• 自适应权重显著提升支持恢复效果，尤其在设计矩阵相关时，可实现无需不可表示性条件的支持恢复。
• 修改后的范围函数F^mr性能较差，因其在非空集与空集之间存在d的间隙，但自适应权重可缓解此问题。
• 数值结果表明，Θ∞r在汉明距离与估计误差方面均优于Lasso及ℓ1/ℓ∞-范数，尤其在低噪声水平下表现更优。
• 所提出的自适应估计器在渐近框架下，对任意强稳定支持均能实现支持恢复，即使在设计矩阵相关时亦成立。