[论文解读] An Approximate Shapley-Folkman Theorem

Thomas Kerdreux, Igor Colin+1 more|arXiv (Cornell University)|Dec 22, 2017

Stochastic Gradient Optimization Techniques参考文献 37被引用 7

一句话总结

本文提出了一种近似版本的Shapley-Folkman定理，通过在锥表示中允许受控的近似误差，减少了可分非凸优化问题中的对偶间隙。通过利用Maurey近似Carathéodory引理的高采样率变体以及约束的近似Helly定理，推导出对偶间隙的稳定且更紧的界，这些界随项数的增加而有利地缩放，尤其在经验风险最小化和多任务学习等有限和问题中表现优异。

ABSTRACT

The Shapley-Folkman theorem shows that Minkowski averages of uniformly bounded sets tend to be convex when the number of terms in the sum becomes much larger than the ambient dimension. In optimization, Aubin and Ekeland [1976] show that this produces an a priori bound on the duality gap of separable nonconvex optimization problems involving finite sums. This bound is highly conservative and depends on unstable quantities, and we relax it in several directions to show that non convexity can have a much milder impact on finite sum minimization problems such as empirical risk minimization and multi-task classification. As a byproduct, we show a new version of Maurey's classical approximate Carathéodory lemma where we sample a significant fraction of the coefficients, without replacement, as well as a result on sampling constraints using an approximate Helly theorem, both of independent interest.

研究动机与目标

• 为解决经典对偶间隙界在非凸有限和优化中依赖于不稳定量的保守性问题。
• 通过在受控近似误差下放松精确凸化要求，推导出更稳定且更紧的对偶间隙界。
• 将Shapley-Folkman框架扩展至具有非线性约束的可分约束问题，以增强其适用范围。
• 提出一种新的高采样率版本的Maurey近似Carathéodory引理，采用无放回采样，提升近似效率。
• 基于近似Helly定理推导出约束采样结果，从而减少对偶间隙界中活跃约束的数量。

提出的方法

• 提出一种近似Shapley-Folkman定理，允许在集合的Minkowski和中实现近似误差与对偶间隙之间的权衡。
• 使用Maurey近似Carathéodory引理的高采样率变体，该变体基于无放回采样结果（Serfling, Bardenet et al., Schneider），以采样显著比例的系数。
• 应用近似Helly定理（Adiprasito et al., 2019）对约束进行采样，减少对偶间隙界中活跃约束的数量。
• 推导出依赖于稳定量（特别是非凸性的上确界范数 ρ(f_i), ρ(g_i)）的对偶问题界，而非依赖于不稳定量。
• 引入原始问题和对偶问题的扰动形式化（h_cP 和 h_cD），以在近似条件下分析对偶间隙。
• 通过使用具有有界系数（λ_ij）的最优点锥表示来控制对偶间隙，其中每个函数的非单位权重数量受限于 m+2 个。

实验结果

研究问题

• RQ1 在Aubin和Ekeland（1976）的经典对偶间隙界中，是否可以通过在最优点的锥表示中允许小的近似误差来实现改进？
• RQ2 在无放回采样下，采样显著比例的系数对Maurey型表示的近似质量有何影响？
• RQ3 如何通过近似Helly定理形式化约束采样，以减少对偶间隙界中的活跃约束数量？
• RQ4 在不使用精确凸包的情况下，能否利用如非凸性上确界范数等稳定但非理想的量来界定对偶间隙？
• RQ5 这些改进在经验风险最小化和多任务学习等实际有限和问题中，对对偶间隙有何影响？

主要发现

• 可分非凸问题中的对偶间隙由一个与非凸性度量 ρ(f_i) 和 ρ(g_i) 之和成比例的项所界定，外加依赖于采样误差和约束近似的余项。
• 对偶间隙的界以稳定量（特别是非凸性的上确界范数）表达，使其比经典界更具鲁棒性。
• 通过近似Helly定理减少对偶间隙界中活跃约束的数量，从而得到更紧且更易解释的界。
• 推导出Maurey引理的高采样率版本，表明无放回采样显著比例的系数可提升近似效率。
• 在多任务学习和经验风险最小化中，即使存在非凸性，当任务数或样本数增长时，对偶间隙仍会渐近趋于零。
• 对偶间隙界中的残差误差受 √m(R_v + R_λ M_V)γ 控制，其中 R_v 和 R_λ 衡量与单位权重的偏离程度，M_V 有界加权和的范数。