[论文解读] Hidden Convexity in the l0 Pseudonorm

Jean‐Philippe Chancelier, Michel De Lara|arXiv (Cornell University)|Jun 7, 2019

Point processes and geometric inequalities参考文献 16被引用 7

一句话总结

本文提出了一种新颖的共轭框架 E-Capra，通过展示在该新对偶性下，l0伪范数等于其自身的双共轭，揭示了其在非凸性下隐藏的凸性。关键贡献在于证明了 l0 伪范数是 E-Capra-凸的，这意味着存在一个适当的凸下确界连续函数，其在单位球面上与 l0 伪范数完全一致，尽管后者具有组合性且非凸。

ABSTRACT

The so-called l0 pseudonorm counts the number of nonzero components of a vector of a Euclidian space. It is well-known that the l0 pseudonorm is not convex, as its Fenchel biconjugate is zero. In this paper, we introduce a suitable conjugacy, induced by a novel coupling, E-Capra, that has the property of being constant along primal rays like the l0 pseudonorm. The coupling E-Capra belongs to the class of one-sided linear couplings, that we introduce; we show that they induce conjugacies that share nice properties with the classic Fenchel conjugacy. For the E-Capra conjugacy, induced by the coupling E-Capra, we relate the E-Capra conjugate and biconjugate of the l0 pseudonorm, the characteristic functions of its level sets and the sequence of so-called top-k norms. In particular, we prove that the l0 pseudonorm is equal to its biconjugate: hence, the l0 pseudonorm is E-Capra-convex in the sense of generalized convexity. As a corollary, we show that there exists a proper convex lower semicontinuous function such that this function and the l0 pseudonorm coincide on the Euclidian unit sphere. This hidden convexity property is somewhat surprising as the l0 pseudonorm is a highly nonconvex function of combinatorial nature. We provide different expressions for this proper convex lower semicontinuous function, and we give explicit formulas in the two-dimensional case.

研究动机与目标

• 为解决 l0 伪范数高度非凸且具有组合性这一根本挑战，该挑战使得在稀疏恢复中的优化变得复杂。
• 开发一种广义共轭框架，保留类似 l0 伪范数的射线常数性，从而启用新的对偶工具。
• 通过证明在新耦合下 l0 伪范数等于其双共轭，建立其为 E-Capra-凸的性质。
• 构造一个在欧几里得单位球面上与 l0 伪范数完全一致的适当凸下确界连续函数。
• 在低维情形（如二维）下，提供该凸函数的显式公式。

提出的方法

• 引入一类称为单边线性耦合的新耦合类，其在保持射线常数性的同时，推广了 Fenchel 对偶性。
• 将 E-Capra 耦合作为单边线性耦合的一个特例进行定义，其设计目标是匹配 l0 伪范数在原空间射线上的行为。
• 将 E-Capra 共轭应用于 l0 伪范数，并利用耦合的性质推导其共轭与双共轭。
• 建立 l0 伪范数的 E-Capra 双共轭与其实 level sets 的特征函数之间的精确关系。
• 通过 E-Capra 共轭将 l0 伪范数与 top-k 范数序列联系起来，揭示其深层结构关联。
• 推导出在单位球面上与 l0 伪范数一致的凸函数的显式表达式，特别是在 R² 中的情形。

实验结果

研究问题

• RQ1 能否在广义共轭框架下证明类似 l0 伪范数的非凸函数为凸函数？
• RQ2 在 E-Capra 耦合下，l0 伪范数是否等于其双共轭，从而暗示其 E-Capra-凸性？
• RQ3 是否存在一个适当的凸下确界连续函数，其在欧几里得单位球面上与 l0 伪范数完全一致？
• RQ4 l0 伪范数的 level sets 与其 E-Capra 共轭及双共轭之间有何关系？
• RQ5 在低维空间（如 R²）中，该凸函数具有何种显式形式？

主要发现

• l0 伪范数等于其 E-Capra 双共轭，证明其为 E-Capra-凸，这是一种在标准 Fenchel 对偶性下无法察觉的隐藏凸性。
• 尽管 l0 伪范数本身非凸，但存在一个适当的凸下确界连续函数，其在欧几里得单位球面上与 l0 伪范数完全一致。
• l0 伪范数的 E-Capra 共轭与双共轭与其 level sets 的特征函数之间存在显式关系。
• 通过 E-Capra 共轭，l0 伪范数与 top-k 范数序列之间建立了深层结构联系。
• 在二维情形下，与 l0 伪范数在单位球面上一致的凸函数具有显式的闭式表达式。