[论文解读] Convexification of Permutation-Invariant Sets and Applications

Jinhak Kim, Mohit Tawarmalani+1 more|arXiv (Cornell University)|Oct 7, 2019

Sparse and Compressive Sensing Techniques参考文献 12被引用 4

一句话总结

本文提出了针对排列不变与符号不变集合的凸化技术，使稀疏优化中的松弛更加紧致。该文推导出新的凸包络，改进了稀疏主成分分析（Sparse PCA）的公式，并在外部乘积松弛中关闭了95%的对偶间隙，推广了0-1逻辑约束的经典结果。

ABSTRACT

We develop techniques to convexify a set that is invariant under permutation and/or change of sign of variables and discuss applications of these results. First, we convexify the intersection of the unit ball of a permutation and sign-invariant norm with a cardinality constraint. This gives a nonlinear formulation for the feasible set of sparse principal component analysis (Sparse PCA), and an alternative proof of the $K$-support norm. Second, we develop new relaxations for the exterior product of sparse vectors and show numerically that, on several problem instances, our relaxation closes 95% of the gap left by the relaxation in the literature. Third, we derive convex and concave envelopes of various permutation-invariant nonlinear functions and their level-sets over hypercubes, with congruent bounds on all variables. Finally, we study permutation-invariant sets in $0-1$ variables, including those that arise in the formulation of various logical requirements. For these models, we project the convex hull descriptions in the space of original variables, generalizing several classical results.

研究动机与目标

• 开发针对在变量排列和符号变化下不变的集合的凸化技术。
• 为稀疏优化问题提供更紧致的凸松弛，特别是在稀疏主成分分析（Sparse PCA）中。
• 通过在原始变量空间中投影，推广0-1逻辑约束的经典凸包描述。
• 推导在具有对称边界超立方体上的排列不变非线性函数的凸与凹包络。

提出的方法

• 利用对称性特性，对排列与符号不变范数的单位球与基数约束的交集进行凸化。
• 通过利用对称结构，为稀疏向量的外部乘积开发非线性凸松弛。
• 利用对称边界，推导排列不变函数在超立方体上的凸与凹包络。
• 将提升空间中的凸包描述投影回原始变量空间，以处理0-1排列不变集合。
• 将这些技术应用于通过凸化方法重新推导$K$-支持范数，提供一种基于凸化的替代证明。
• 通过与现有文献比较对偶间隙，对松弛质量进行数值验证。

实验结果

研究问题

• RQ1 如何对排列与符号不变集合进行凸化，以改进稀疏优化中的松弛？
• RQ2 与先前方法相比，稀疏向量外部乘积的凸松弛能在多大程度上关闭对偶间隙？
• RQ3 在具有对称边界的超立方体上，排列不变非线性函数的最紧凸与凹包络是什么？
• RQ4 如何将0-1排列不变集合的凸包投影回原始变量空间，以推广经典结果？

主要发现

• 所提出的稀疏向量外部乘积松弛在测试问题实例中，关闭了现有文献遗留的95%的对偶间隙。
• 排列与符号不变范数的单位球与基数约束的交集，为稀疏主成分分析（Sparse PCA）提供了非线性凸公式。
• 通过凸化对称集合，推导出$K$-支持范数的替代证明。
• 为具有相同变量边界的多种排列不变函数在超立方体上推导出凸与凹包络。
• 通过将凸包描述投影到原始变量空间，推广了0-1逻辑约束的经典结果。
• 该框架为一系列对称优化问题提供了更紧致的松弛，提升了稀疏与组合场景下的解质量。