[논문 리뷰] The rate of linear convergence of the Douglas-Rachford algorithm for subspaces is the cosine of the Friedrichs angle

Heinz H. Bauschke, Yunier Bello-Cruz외 3명|arXiv (Cornell University)|2013. 09. 18.

Optimization and Variational Analysis참고 문헌 21인용 수 20

한 줄 요약

이 논문은 힐버트 공간 내 두 부분공간의 교차를 찾는 데 사용되는 Douglas-Rachford 알고리즘이 초기 점의 교차에 대한 투영으로 선형 수렴함을 입증한다. 수렴 속도는 부분공간 간의 Friedrichs 각도의余弦값과 같다. 분석은 일반적인 (유한차원이 아닐 수도 있는) 힐버트 공간에서 수행되며, 정확한 수렴 속도를 제공하고, 극한이 최적 근사 해임을 규명한다.

ABSTRACT

The Douglas-Rachford splitting algorithm is a classical optimization method that has found many applications. When specialized to two normal cone operators, it yields an algorithm for finding a point in the intersection of two convex sets. This method for solving feasibility problems has attracted a lot of attention due to its good performance even in nonconvex settings. In this paper, we consider the Douglas-Rachford algorithm for finding a point in the intersection of two subspaces. We prove that the method converges strongly to the projection of the starting point onto the intersection. Moreover, if the sum of the two subspaces is closed, then the convergence is linear with the rate being the cosine of the Friedrichs angle between the subspaces. Our results improve upon existing results in three ways: First, we identify the location of the limit and thus reveal the method as a best approximation algorithm; second, we quantify the rate of convergence, and third, we carry out our analysis in general (possibly infinite-dimensional) Hilbert space. We also provide various examples as well as a comparison with the classical method of alternating projections.

연구 동기 및 목표

• 두 부분공간에 적용된 Douglas-Rachford 반복의 정확한 극한을 규명하는 것.
• 부분공간 케이스에서 알고리즘의 선형 수렴 속도를 정량화하는 것.
• 유한차원 공간을 초월하여 일반 힐버트 공간으로 분석을 확장하는 것.
• 수렴 속도 측면에서 Douglas-Rachford 방법과 교대 투영 방법을 비교하는 것.
• Friedrichs 각도를 핵심 매개변수로 사용하여 정확한 수렴 추정치를 수립하는 것.

제안 방법

• 분석은 힐버트 공간 내에서의 엄격하게 비확장성 연산자와 투영 이론을 활용한다.
• Douglas-Rachford 연산자는 $ T = P_V(2P_U - \text{Id}) + \text{Id} - P_U $로 정의되며, 여기서 $ P_U $와 $ P_V $는 부분공간 $ U $와 $ V $에 대한 정규직교 투영이다.
• 수열 $ (x_n) $의 극한이 $ P_{U\cap V}x_0 $임을 보여주며, 이는 $ x_0 $에 대한 $ U \cap V $ 내 최적 근사이다.
• 수렴 속도는 Friedrichs 각도 $ \theta $를 사용하여 유도되며, 속도는 $ \cos\theta $이며, 이 값이 정확히 날카로운 상한임을 증명한다.
• 증명은 엄격하게 비확장성 사상의 성질과 Douglas-Rachford 연산자의 스펙트럼 분석에 기반한다.
• 분석은 일반 힐버트 공간(무한차원 포함)에서 수행되며, 수치 실험과 반례를 통해 뒷받질린다.

실험 결과

연구 질문

• RQ1 두 부분공간에 적용된 Douglas-Rachford 반복이 수렴하는 정확한 극한 점은 무엇인가?
• RQ2 부분공간 케이스에서 Douglas-Rachford 알고리즘의 정확한 선형 수렴 속도는 무엇인가?
• RQ3 수렴 속도는 부분공간 간 기하학적 관계에 따라 어떻게 달라지는가?
• RQ4 수렴 속도는 날카로운가? 그리고 Friedrichs 각도로 표현할 수 있는가?
• RQ5 Douglas-Rachford 방법은 수렴 속도 측면에서 교대 투영 방법보다 어떻게 다른가?

주요 결과

• Douglas-Rachford 반복은 $ P_{U\cap V}x_0 $로 선형 수렴하며, 이는 부분공간 교차 내에서 초기 점의 최적 근사이다.
• 선형 수렴 속도는 정확히 $ \cos\theta $이며, 여기서 $ \theta $는 부분공간 간의 Friedrichs 각도이고, 이 속도는 날카로운 것이다.
• 수렴 분석은 일반적인 (유한차원이 아닐 수도 있는) 힐버트 공간에서 유효하며, 유한차원 공간에 국한되지 않는다.
• 부분공간의 합이 닫혀져 있을 경우, 수렴은 속도 $ \cos\theta $로 선형적이며, 이 조건은 선형 수렴을 위해 필수적이다.
• 수치 실험 결과, Friedrichs 각도가 작을 때(즉, $ \theta < 0.1 $) Douglas-Rachford 방법이 교대 투영 방법보다 우수함을 보였다.
• 그림자 수열에서 '물결' 현상이 관찰되며, 이는 작은 각도에서 더 두드러지지만, 전체 수렴 속도에 영향을 주지 않는다.