[论文解读] Linear and strong convergence of algorithms involving averaged nonexpansive operators

Heinz H. Bauschke, Dominikus Noll+1 more|arXiv (Cornell University)|Feb 21, 2014

Optimization and Variational Analysis参考文献 31被引用 89

一句话总结

本文建立了在希尔伯特空间中涉及平均非扩张算子的迭代算法线性收敛与强收敛的可验证条件。通过引入有界线性正则性与内在正则性概念，作者证明了当算子及其不动点集满足这些正则性条件时，拟循环、循环和随机算法会线性或强收敛，其应用涵盖Borwein–Tam方法与循环锚定Douglas–Rachford算法（CADRA）。

ABSTRACT

We introduce regularity notions for averaged nonexpansive operators. Combined with regularity notions of their fixed point sets, we obtain linear and strong convergence results for quasicyclic, cyclic, and random iterations. New convergence results on the Borwein-Tam method (BTM) and on the cylically anchored Douglas-Rachford algorithm (CADRA) are also presented. Finally, we provide a numerical comparison of BTM, CADRA and the classical method of cyclic projections for solving convex feasibility problems.

研究动机与目标

• 建立基于平均非扩张算子的迭代算法线性与强收敛的充分条件。
• 引入并分析有界线性正则性与内在正则性，作为收敛性分析的关键工具。
• 为Borwein–Tam方法（BTM）与循环锚定Douglas–Rachford算法（CADRA）提供新的收敛结果。
• 通过数值比较分析BTM、CADRA与经典循环投影在求解凸可行性问题中的性能表现。
• 在有限维设置下，弥合理论收敛保证与实际算法性能之间的鸿沟。

提出的方法

• 为平均非扩张算子及其不动点集引入有界线性正则性概念，将线性正则性推广至局部行为。
• 利用费耶尔单调性与集合族的正则性，分析迭代方案的收敛行为。
• 应用平均非扩张算子的概念来建模投影与分裂方法，包括Douglas–Rachford方法与松弛技术。
• 通过结合单个算子的有界线性正则性与不动点集交集的正则性，推导收敛速率。
• 通过平均算子的凸组合，构建拟循环、循环与随机序列迭代。
• 在ℝ¹⁰⁰中通过随机凸集的数值实验验证理论结果，比较BTM、CADRA与循环投影的性能。

实验结果

研究问题

• RQ1 在何种条件下，涉及平均非扩张算子的拟循环算法会线性收敛？
• RQ2 循环与随机序列算法在何时会强收敛？何种正则性条件可确保这一结果？
• RQ3 针对Borwein–Tam方法与循环锚定Douglas–Rachford算法（CADRA），可建立何种收敛保证？
• RQ4 在实际求解凸可行性问题时，BTM、CADRA与循环投影的收敛速率如何比较？
• RQ5 有界线性正则性与内在正则性能否用于统一并强化分裂方法的收敛结果？

主要发现

• 若每个算子均为有界线性正则，且不动点集族也为有界线性正则，则拟循环平均算法线性收敛。
• 若每个算子均为有界正则，且不动点集族也为有界正则，则循环算法强收敛。
• 若每个算子均为有界正则，且不动点集族为内在有界正则，则随机序列算法强收敛。
• 当底层算子与不动点集均为有界线性正则时，Borwein–Tam方法线性收敛。
• 在有限维空间中，当锚点与集合的相对内部相交，或所有集合均为子空间且其和闭合且具有有界线性正则性时，CADRA线性收敛。
• 数值实验表明，CADRA在迭代次数上优于循环投影与BTM，尤其在中等程度欠定问题（m ≤ 30）中表现更优，对于m ∈ [21,30]的98%情况下CADRA为最快。