[论文解读] Finitely convergent algorithm for nonconvex inequality problems

C. H. Jeffrey Pang|arXiv (Cornell University)|May 28, 2014

Optimization and Variational Analysis参考文献 9被引用 4

一句话总结

本文提出了一种用于在希尔伯特空间中求解非凸不等式问题（NIP）的有限收敛算法，采用Clarke次微分和支撑半空间。通过利用近似凸性和度量正则性，该方法在局部条件下确保有限终止，将Fukushima的凸可行性结果推广至非凸情形，并提供局部收敛保证。

ABSTRACT

We extend Fukushima's result on the finite convergence of an algorithm for the global convex feasibility problem to the local nonconvex case.

研究动机与目标

• 将Fukushima针对凸不等式问题的有限收敛结果推广至非凸情形。
• 在目标函数近似凸的条件下，建立非凸不等式问题（NIP）的局部有限收敛性。
• 利用非光滑与变分分析工具，特别是Clarke次微分和度量正则性，分析收敛性。
• 证明在近似凸性和正则性假设下，算法在有限步内终止。
• 将交替投影方法推广至非凸情形，并提供有限收敛保证。

提出的方法

• 该算法使用Clarke广义次微分中的次梯度，以在每次迭代点处定义支撑半空间。
• 在每次迭代中，通过将当前迭代点投影到由多个支撑半空间构成的多面体集上，获得下一个点。
• 该方法引入一个递减的容差参数序列 $\epsilon_i$，以引导迭代点趋近可行集 $\{x : f(x) \leq 0\}$。
• 通过反证法证明有限收敛：假设迭代无限进行，将与到 $\epsilon_i$-次水平集的距离的次线性衰减率矛盾。
• 分析依赖于度量正则性和近似凸性，确保投影步骤能实现到可行集距离的充分减小。
• 关键不等式控制了迭代点与投影点之间的夹角，确保序列以线性速率减小到解集的距离。

实验结果

研究问题

• RQ1 在较弱的光滑性假设下，是否能为非凸不等式问题保证有限收敛？
• RQ2 在目标函数的何种局部条件下，交替投影方法能实现有限收敛？
• RQ3 近似凸性如何影响基于次梯度算法的收敛行为？
• RQ4 能否利用变分分析工具，将凸问题的有限收敛结果推广至非凸情形？
• RQ5 度量正则性在确保算法有限终止中起到何种作用？

主要发现

• 在近似凸性和度量正则性条件下，该算法对非凸不等式问题（NIP）实现了有限收敛。
• 通过反证法证明有限终止：假设迭代无限进行，将导致到 $\epsilon_i$-次水平集的距离呈现次线性衰减，与通过几何与变分分析建立的线性衰减率矛盾。
• 距离 $d(x_i, S_{\epsilon_i})$ 以线性速率减小，其上界为 $\sqrt{1 - \frac{1}{3}r^2}$，其中 $r = 1/(\kappa \sup \|s'\|)$。
• 证明表明，$x_i$ 到多面体 $P_i$ 的投影确保 $\|x_{i+1} - p_i\|^2 \leq \|x_i - p_i\|^2 - \frac{1}{3}\|x_{i+1} - x_i\|^2$，从而保证了充分的减小。
• 几何上建立了角度 $\angle p_i \tilde{x}_i^{(j)} x_i > \pi/2$，确保 $p_i$ 位于缩放后的多面体 $\tilde{P}_i$ 内部，这对收敛性至关重要。
• 该结果在希尔伯特空间中成立，并通过近似凸性和次微分分析，将Fukushima的凸有限收敛结果推广至非凸情形。