[论文解读] Alternating conditional gradient method for convex feasibility problems

R. Díaz Millán, O. P. Ferreira+1 more|arXiv (Cornell University)|Dec 9, 2019

Optimization and Variational Analysis参考文献 28被引用 4

一句话总结

本文提出了一种用于凸可行性问题的交替条件梯度（ACondG）方法，结合在一个集合上的精确投影与在另一集合上通过条件梯度（CondG）方法进行的非精确投影。若交集非空，则确保收敛至交集中的点；若集合不相交，则收敛至最近的点对。在数值测试中，该方法比精确投影方法具有更快的收敛速度和更少的迭代次数。

ABSTRACT

The classical convex feasibility problem in a finite dimensional Euclidean space is studied in the present paper. We are interested in two cases. First, we assume to know how to compute an exact project onto one of the sets involved and the other set is compact such that the conditional gradient (CondG) method can be used for computing efficiently an inexact projection on it. Second, we assume that both sets involved are compact such that the CondG method can be used for computing efficiently inexact projections on them. We combine alternating projection method with CondG method to design a new method, which can be seen as an inexact feasible version of alternate projection method. The proposed method generates two different sequences belonging to each involved set, which converge to a point in the intersection of them whenever it is not empty. If the intersection is empty, then the sequences converge to points in the respective sets whose distance is equal to the distance between the sets in consideration.

研究动机与目标

• 解决在有限维欧几里得空间中精确投影计算成本过高的凸可行性问题。
• 开发一种利用条件梯度（CondG）方法进行非精确投影以降低每次迭代计算成本的方法。
• 确保在交集非空时收敛至两凸集交集中的可行点，或在集合不相交时收敛至最近的点对。
• 在数值实验中展示通过CondG实现的非精确投影相较于精确投影在迭代次数和鲁棒性方面的优越性。

提出的方法

• 该方法在两个集合之间交替进行：一个集合使用精确投影，另一个集合使用条件梯度（CondG）方法进行非精确、高效的投影。
• 生成两个序列 $ (x^k) \subset A $ 和 $ (y^k) \subset B $，当交集非空时，这两个序列收敛至 $ A \cap B $ 中的点。
• 对于不相交的集合，序列收敛至点 $ x^* \in A $，$ y^* \in B $，使得 $ \|x^* - y^*\| = \mathrm{dist}(A,B) $。
• 使用CondG方法在具有特殊结构的紧致集合上计算非精确投影，利用稀疏性和可分性实现较低的每次迭代成本。
• 该算法被设计为经典交替投影方法的非精确变体，其中非精确投影的精度随迭代次数逐步提高。
• 提出了两种版本：一种是在一个集合上使用精确投影，另一集合上使用CondG；另一种是在两个紧致集合上均使用CondG。

实验结果

研究问题

• RQ1 能否通过用条件梯度方法计算的非精确投影替代精确投影，使交替投影方法更高效？
• RQ2 当交集非空时，所提出的ACondG方法是否收敛至两凸集交集中的可行点？
• RQ3 当交集为空时，迭代点会如何演化？该方法是否收敛至集合之间的最近点对？
• RQ4 在迭代次数和可行性违反程度方面，非精确ACondG方法与精确交替投影方法相比表现如何？
• RQ5 使用CondG进行非精确投影是否能带来更快的收敛速度，特别是在具有内部交集的问题中？

主要发现

• 在交集内部非空的可行实例中，ACondG-2分别在2、2、8和155次迭代内找到可行点，而精确方法则未能推进。
• 在不可行实例中，ACondG-2分别在33、5、3和2次迭代内达到 $ \mathcal{O}(10^{-4}) $、$ \mathcal{O}(10^{-3}) $、$ \mathcal{O}(10^{-2}) $ 和 $ \mathcal{O}(10^{-1}) $ 的可行性违反程度。
• 精确方法分别需要82、15、5和2次迭代才能达到类似的可行性违反程度，表明ACondG-2更快收敛至集合之间的最近区域。
• 平均而言，ACondG-2在因缺乏进展而停止前，所需迭代次数比精确方法减少了65.7%。
• 该方法表现出良好的鲁棒性和更快的收敛速度，尤其在具有内部交集的问题中，收敛可在有限次迭代内完成。
• 数值结果表明，在所测试的问题类别中，通过CondG实现的非精确投影在迭代效率和鲁棒性方面优于精确投影。