[论文解读] Convex optimization over intersection of simple sets: improved convergence rate guarantees via an exact penalty approach

Achintya Kundu, Francis Bach+1 more|arXiv (Cornell University)|Oct 17, 2017

Sparse and Compressive Sensing Techniques参考文献 2被引用 7

一句话总结

该论文提出了一种基于精确罚函数的原始-对偶算法，用于在多个简单凸集的交集上进行凸优化，利用各个集合的投影预言机而非整个交集的投影。该方法在平滑问题上实现了 O(1/ε) 的收敛速率，在复合问题上实现了 O(1/√ε) 的收敛速率，同时显式保证了目标最优性和可行性距离的界，相较于现有方法在理论和图半监督分类与匹配任务上的实践表现均更优。

ABSTRACT

We consider the problem of minimizing a convex function over the intersection of finitely many simple sets which are easy to project onto. This is an important problem arising in various domains such as machine learning. The main difficulty lies in finding the projection of a point in the intersection of many sets. Existing approaches yield an infeasible point with an iteration-complexity of $O(1/\varepsilon^2)$ for nonsmooth problems with no guarantees on the in-feasibility. By reformulating the problem through exact penalty functions, we derive first-order algorithms which not only guarantees that the distance to the intersection is small but also improve the complexity to $O(1/\varepsilon)$ and $O(1/\sqrt{\varepsilon})$ for smooth functions. For composite and smooth problems, this is achieved through a saddle-point reformulation where the proximal operators required by the primal-dual algorithms can be computed in closed form. We illustrate the benefits of our approach on a graph transduction problem and on graph matching.

研究动机与目标

• 解决当投影到整个交集在计算上不可行时，对多个简单凸集交集上的凸函数进行最小化的问题。
• 设计仅通过每个简单集合的独立投影预言机访问可行集的一阶算法，避免直接计算整个交集的投影。
• 提供收敛速率保证，同时控制最优性间隙与不可行性（到可行集的距离），这是先前方法所缺失的。
• 在标准约束规范条件下，将迭代复杂度从现有方法的 O(1/ε²) 改进为平滑问题的 O(1/ε) 和复合问题的 O(1/√ε)。
• 通过图半监督分类与图匹配任务的实验，证明方法在实际中的优越性，新方法在对可行集投影后仍能保持高精度。

提出的方法

• 通过精确罚函数重构原始问题，将可行性约束嵌入目标函数，从而实现鞍点形式。
• 提出基于鞍点重构的原始-对偶算法，其中近端算子可通过各个集合的投影预言机以闭式计算。
• 利用标准约束规范确保精确罚函数重构的有效性，并获得等价解。
• 设计一种复合镜像-近端变体（SMP），保持与可行集的接近性，并通过在各个集合上进行简单近端步骤实现高效计算。
• 使用一种不精确内迭代方法（IIPM）来近似近端步骤，在固定内迭代次数下具备收敛保证。
• 将精确罚函数方法集成到一阶方法中，确保迭代点始终靠近可行集，同时实现快速收敛。

实验结果

研究问题

• RQ1 当仅能访问各个集合的投影预言机时，能否在简单集合交集的凸优化中实现更快的收敛速率？
• RQ2 能否在一阶方法中同时保证较小的最优性间隙与较小的不可行性（到可行集的距离）？
• RQ3 与传统投影或交替投影方法相比，精确罚函数重构是否能实现更好的收敛速率与可行性控制？
• RQ4 在时间受限场景下，所提方法能否在实践中优于 Frank-Wolfe 及其他原始-对偶方法？
• RQ5 在真实机器学习任务中，保持与可行集的接近性如何影响最终目标值与预测性能？

主要发现

• 所提出的精确罚原始-对偶（EPPD）方法在平滑问题上实现了 O(1/ε) 的收敛速率，在复合问题上实现了 O(1/√ε) 的收敛速率，显著优于现有方法的 O(1/ε²) 速率。
• SMP 变体确保迭代点始终位于距离可行集 ε/L_f 以内，防止因不可行性导致的误导性低目标值，图匹配实验已验证此结果。
• 在图半监督分类任务中，SMP 方法在 1 vs 2、1 vs 7 和 3 vs 8 的分类任务中分别达到 5.77%、5.31% 和 6.46% 的准确率，且在投影到可行集后性能下降极小，表明其鲁棒性。
• 在 n=200 个节点的图匹配任务中，由于每次迭代操作更廉价（仅需对单纯形进行投影，而非求解分配问题或执行多次近端步骤），EPPD 的收敛速度优于 Frank-Wolfe 和 CMP。
• IIPM 方法虽然更快，但因不可行性过大而产生误导性低目标值，凸显了在算法设计中可行性保证的重要性。
• 实证结果表明，新方法在将不可行迭代点投影到可行集后，仍能保持高预测性能与稳定的目标值，而基线方法则不具备此特性。