[论文解读] Ideal formulations for constrained convex optimization problems with indicator variables

Linchuan Wei, Andrés Gómez+1 more|arXiv (Cornell University)|Jun 30, 2020

Sparse and Compressive Sensing Techniques参考文献 57被引用 6

一句话总结

本文提出了一种针对带指示变量和组合约束的稀疏回归问题的统一凸化技术，推导出在任意多面体约束下，凸函数与仿射函数复合的上境图的理想公式。关键贡献是提出了一种广义的闭式凸包描述，推广了视角重构方法，并实现了更紧的松弛，显著提升了计算实验中的下界，且计算开销几乎无增加。

ABSTRACT

Motivated by modern regression applications, in this paper, we study the convexification of a class of convex optimization problems with indicator variables and combinatorial constraints on the indicators. Unlike most of the previous work on convexification of sparse regression problems, we simultaneously consider the nonlinear non-separable objective, indicator variables, and combinatorial constraints. Specifically, we give the convex hull description of the epigraph of the composition of a one-dimensional convex function and an affine function under arbitrary combinatorial constraints. As special cases of this result, we derive ideal convexifications for problems with hierarchy, multi-collinearity, and sparsity constraints. Moreover, we also give a short proof that for a separable objective function, the perspective reformulation is ideal independent from the constraints of the problem. Our computational experiments with regression problems under hierarchy constraints on real datasets demonstrate the potential of the proposed approach in improving the relaxation quality without significant computational overhead.

研究动机与目标

• 为在指示变量上存在任意组合约束时，凸函数与仿射函数复合的上境图，开发理想凸包公式。
• 将现有视角重构结果推广至非可分或二次目标以及如基数约束等简单约束之外的情形。
• 填补非可分、非线性及受约束稀疏回归问题中理想公式的空白。
• 提升混合整数锥优化中现代回归应用的凸松弛质量。
• 提供一个适用于层级、多重共线性、稀疏性及组选择约束的统一框架。

提出的方法

• 推导集合 $ Z_Q $ 的凸包描述，其定义为 $ f(h^\top \beta) \leq t $ 的上境图，附带指示约束 $ \beta_i(1 - z_i) = 0 $ 与 $ z \in Q \subseteq \{0,1\}^p $。
• 在 $ z $ 上任意多面体约束下，为任意一维凸函数 $ f $ 建立凸包的通用闭式表达式。
• 将通用结果应用于推导特定约束下的理想公式：稀疏性、层级（强与弱）、多重共线性及组选择。
• 提供一个简短证明，表明无论约束集 $ Q $ 为何，视角重构对可分凸目标均理想，扩展了先前结果。
• 利用推导出的公式加强混合整数锥优化中的凸松弛，尤其适用于稀疏逻辑回归。
• 通过合成数据集的计算实验，比较自然松弛（log-nat）与所提重构（log-rko）的下界。

实验结果

研究问题

• RQ1 我们能否为在指示变量上存在任意组合约束时，非可分、非线性凸函数与仿射函数复合的上境图，推导出理想且闭式的凸包描述？
• RQ2 当存在组合约束时，视角重构是否仍对可分凸目标保持理想？
• RQ3 所提出的理想公式在具有复杂约束的稀疏回归问题中，如何提升松弛质量？
• RQ4 正则化强度与数据稀疏性对所提公式下界提升的影响是什么？
• RQ5 所提框架能否统一并推广现有关于基数、层级及多重共线性约束下视角重构结果？

主要发现

• 所提方法在 $ z $ 上任意多面体约束下，为 $ f(h^\top \beta) \leq t $ 的上境图提供了闭式凸包描述，推广了先前结果。
• 对于可分凸目标，证明了视角重构无论约束集 $ Q $ 为何均理想，扩展了已知结论。
• 所提 log-rko 松弛的下界至少比自然松弛（log-nat）高 16%，在稀疏情形下提升最高达 100%。
• 当 $ \alpha = 0.01 $ 且 $ \lambda \geq 0.5 $ 时，log-rko 的下界接近 1，表明其通常能证明最优解为 $ \beta = \mathbf{0} $。
• 当 $ n \leq p $ 时改进最显著，此时自然松弛较弱；且在 $ \lambda $ 较大时，稀疏性占主导，改进亦更明显。
• 该方法在几乎无额外计算开销的前提下提升了松弛质量，稀疏逻辑回归实验已证实此点。