[论文解读] Linear Convergence of the Douglas-Rachford Method for Two Closed Sets

Hung M. Phan|arXiv (Cornell University)|Jan 25, 2014

Optimization and Variational Analysis参考文献 21被引用 5

一句话总结

该论文在正则性条件下，建立了欧氏空间中两个闭集的Douglas-Rachford（DR）方法的R线性收敛性。在强正则性条件下，证明了两个超正则集的局部R线性收敛性；对于相对内部相交的两个凸集，证明了全局R线性收敛性，从而恢复并扩展了近期关于收敛速率的结果。

ABSTRACT

In this paper, we investigate the Douglas-Rachford method for two closed (possibly nonconvex) sets in Euclidean spaces. We show that under certain regularity conditions, the Douglas-Rachford method converges locally with R-linear rate. In convex settings, we prove that the linear convergence is global. Our study recovers recent results on the same topic.

研究动机与目标

• 建立欧氏空间中两个闭集（可能非凸）的Douglas-Rachford方法的R线性收敛性。
• 通过引入强正则性和仿射包正则性等更强的正则性条件，扩展先前关于局部收敛性的结果。
• 证明当两个凸集的相对内部相交时，DR方法的全局R线性收敛性。
• 阐明不动点和影子迭代序列（P_A x_n, P_B x_n）在收敛到可行解过程中的作用。
• 提供显式的收敛速率，并证明即使迭代序列x_n收敛缓慢，影子序列仍线性收敛。

提出的方法

• 使用Douglas-Rachford算子T(x) = ½(Id + R_B R_A)(x)，通过集合A和B上的投影与反射定义。
• 采用仿射包约化方法，通过限制在A ∪ B的仿射包上来简化问题。
• 利用投影的Fejér单调性和非扩张性来分析收敛行为。
• 引入并利用超正则性的概念，以确保在交点处法锥的良态性。
• 使用强正则性和仿射包正则性条件来保证局部R线性收敛性。
• 通过几何参数（如角度和线性正则性模）推导显式的R线性收敛速率。

实验结果

研究问题

• RQ1 在何种条件下，Douglas-Rachford方法对两个非凸闭集以R线性速率收敛？
• RQ2 能否将一个仿射集与一个超正则集的局部R线性收敛结果，从单个仿射集扩展到两个超正则集？
• RQ3 何种正则性条件可确保影子序列P_A x_n和P_B x_n收敛到A ∩ B中的可行点？
• RQ4 当两个凸集的相对内部相交时，全局R线性收敛是否成立？
• RQ5 在凸设定下，DR方法的定量收敛速率是多少，其与已知界相比如何？

主要发现

• 当A和B为超正则集且系统{A,B}为强正则时，DR序列以局部R线性速率收敛。
• 当A和B为超正则集且{A,B}为仿射包正则时，DR序列以R线性速率收敛到不动点x̄，且P_A x̄ ≡ P_B x̄ ∈ A ∩ B。
• 对于相对内部相交的两个凸集，DR序列以全局R线性速率收敛到不动点x̄，且P_A x̄ ≡ P_B x̄ ∈ A ∩ B。
• 针对R²中两个凸条带，推导出显式的R线性收敛速率，得到κ = √((17 + 2√2)/20) ≈ 0.922。
• 即使迭代序列x_n收敛缓慢，影子序列(P_A x_n)和(P_B x_n)仍以R线性速率收敛到A ∩ B中的解。
• 该结果扩展了Hesse和Luke（2015）的前期工作，并首次为两个凸集提供了全局R线性收敛结果。