[논문 리뷰] Proximal point algorithm, Douglas-Rachford algorithm and alternating projections: a case study

Heinz H. Bauschke, Minh N. Dao외 2명|arXiv (Cornell University)|2015. 01. 26.

Optimization and Variational Analysis참고 문헌 13인용 수 9

한 줄 요약

이 논문은 유클리드 평면에서 볼록 가능성 문제에 대해 프록시멀 포인트 알고리즘(PPA), Douglas-Rachford 알고리즘(DRA), 그리고 교대 투영(MAP)의 수렴 속도에 대한 사례 연구를 제공한다. 여기서 한 집합은 실수축이고 다른 한 집합은 볼록 함수의 에피그래프이다. DRA는 제약 조건이 충족되지 않을 경우를 포함해 항상 MAP보다 더 빠르게 수렴함을 입증하며, 거기서 다양한 볼록 함수에 대해 정확한 점근적 수렴 속도를 도출한다. 이는 거듭제곱형 함수와 원형 에피그래프를 포함한다.

ABSTRACT

Many iterative methods for solving optimization or feasibility problems have been invented, and often convergence of the iterates to some solution is proven. Under favourable conditions, one might have additional bounds on the distance of the iterate to the solution leading thus to worst case estimates, i.e., how fast the algorithm must converge. Exact convergence estimates are typically hard to come by. In this paper, we consider the complementary problem of finding best case estimates, i.e., how slow the algorithm has to converge, and we also study exact asymptotic rates of convergence. Our investigation focuses on convex feasibility in the Euclidean plane, where one set is the real axis while the other is the epigraph of a convex function. This case study allows us to obtain various convergence rate results. We focus on the popular method of alternating projections and the Douglas-Rachford algorithm. These methods are connected to the proximal point algorithm which is also discussed. Our findings suggest that the Douglas-Rachford algorithm outperforms the method of alternating projections in the absence of constraint qualifications. Various examples illustrate the theory.

연구 동기 및 목표

• 반복 알고리즘의 볼록 가능성 문제에서 최선의 경우 및 정확한 점근적 수렴 속도를 조사하는 것.
• 기하학적 조건이 변화할 때 Douglas–Rachford 알고리즘(DRA)과 교대 투영(MAP)의 성능을 비교하는 것.
• 실수축과 볼록 에피그래프를 포함한 두 차원 사례 연구에서 DRA와 MAP의 정확한 수렴 속도를 유도하는 것.
• 제약 조건의 충족 여부가 수렴 속도에 미치는 영향, 특히 비정규적인 교차 기하학에서의 영향을 분석하는 것.
• |x|^p 및 R - √(R² - x²)와 같은 명시적 함수를 사용하여 PPA, DRA, MAP에 대해 정량적이고 사례 기반의 수렴 추정치를 제공하는 것.

제안 방법

• 연구는 ℝ²에서의 볼록 가능성을 중심으로 하며, A = ℝ × {0} 및 B = 볼록 함수 f의 에피그래프로 설정되어 분석적 취급이 가능하도록 한다.
• PPA는 유도자 연산을 통해 적용되며, 반복은 x_{n+1} = P_f(x_n)로 정의되고 수렴 한계가 도출된다.
• MAP의 경우 반복은 a_{n+1} = P_A P_B(a_n)이며, 해 집합으로부터의 거리에 관한 부등식을 통해 수렴성이 분석된다.
• DRA의 경우 반복은 T = Id - P_A + P_B R_A로 정의되며, z_{n+1} = T z_n 및 a_n = P_A z_n로 표현되며 고정점 분석을 통해 수렴성이 연구된다.
• 정확한 점근적 수렴 속도는 f(x) = (1/p)|x|^p에 대해 x_n = x_{n+1} + r_{n+1} x_{n+1}^{p-1}와 같은 재귀 관계를 사용하여 도출된다.
• 이론적 결과는 수치 예제와 비교를 통해 검증되며, 다양한 p 및 R 값에 대한 수렴 속도의 그래프 포함.

실험 결과

연구 질문

• RQ1 비정규적인 교차 기하학을 가진 볼록 가능성 문제에서 Douglas–Rachford 알고리즘과 교대 투영의 수렴 속도는 어떻게 비교되는가?
• RQ2 제약 조건이 충족되지 않을 경우 DRA와 MAP의 정확한 점근적 수렴 속도는 무엇인가?
• RQ3 이와 같은 설정에서 프록시멀 포인트 알고리즘을 사용하여 정밀한 수렴 추정치를 도출할 수 있으며, 그 결과는 어떻게 비교되는가?
• RQ4 예를 들어 f(x) = (1/p)|x|^p 또는 f(x) = R - √(R² - x²)일 경우, 볼록 에피그래프의 곡률 변화가 수렴 행동에 어떻게 영향을 미치는가?
• RQ5 DRA가 수렴 속도 측면에서 MAP를 능가하는 조건는 무엇이며, 이를 분석적으로 정량화할 수 있는가?

주요 결과

• f(x) = (1/p)|x|^p 이며 1 < p < 2일 경우, DRA 수렴 수열은 순차적 수렴 속도가 1/(p-1)이며, MAP 수렴 수열은 약 ~n^{-1/(2p-2)}의 로그 수렴 속도로 수렴한다.
• p = 2일 경우, DRA 수렴 수열은 수렴 속도 1/(1 + r_∞)로 선형 수렴을 보이며, MAP 수렴 수열은 여전히 로그 수렴을 보여 DRA의 우월성을 확인한다.
• p > 2일 경우, DRA와 MAP 모두 로그 수렴을 보이지만, DRA가 더 빠르게 수렴하며, DRA의 경우 x_n ~ (1/n)^{1/(p-2)}이며, MAP는 더 느린 속도로 수렴한다.
• 원형 에피그래프 f(x) = R - √(R² - x²)의 경우, DRA 수렴 수열은 수렴 속도 1/(1 + r_∞/R)로 선형 수렴을 보이며, MAP 수렴 수열은 x_n ~ R/√n로 로그 수렴한다.
• DRA는 모든 테스트 케이스에서 일관되게 MAP를 능가하며, 특히 제약 조건이 충족되지 않거나 집합 간의 각도가 작을 경우 더욱 두드러진다.
• 이론적 분석은 DRA의 수렴 속도가 MAP보다 엄밀히 빠르며, 1 < p < 2일 경우 MAP 수렴 수열 대비 DRA 수렴 수열의 비율이 무한대로 수렴함을 확인하여 수렴 속도 격차를 입증한다.