[논문 리뷰] Inertial Douglas-Rachford splitting for monotone inclusion problems

Radu Ioan Boţ, Ernö Robert Csetnek외 1명|arXiv (Cornell University)|2014. 03. 13.

Optimization and Variational Analysis참고 문헌 32인용 수 11

한 줄 요약

이 논문은 힐버트 공간 내에서 최대 단조성 연산자의 포함 문제를 해결하기 위해 관성형 Douglas-Rachford 분할 알고리즘을 제안한다. 이는 수렴 속도를 향상시키기 위해 Krasnosel’skiï’-Mann 알고리즘의 관성 변형을 활용한다. 이 방법은 각 연산자의 해석자에 대해 별도로 접근할 수 있으며, 원본-이중 최적화 문제에 적용된다. 수치 실험 결과는 군집화 및 위치 이론 분야에서 경쟁적인 성능을 보였다.

ABSTRACT

We propose an inertial Douglas-Rachford splitting algorithm for finding the set of zeros of the sum of two maximally monotone operators in Hilbert spaces and investigate its convergence properties. To this end we formulate first the inertial version of the Krasnosel'ski\uı--Mann algorithm for approximating the set of fixed points of a nonexpansive operator, for which we also provide an exhaustive convergence analysis. By using a product space approach we employ these results to the solving of monotone inclusion problems involving linearly composed and parallel-sum type operators and provide in this way iterative schemes where each of the maximally monotone mappings is accessed separately via its resolvent. We consider also the special instance of solving a primal-dual pair of nonsmooth convex optimization problems and illustrate the theoretical results via some numerical experiments in clustering and location theory.

연구 동기 및 목표

• 힐버트 공간 내 단조성 포함 문제를 위한 Douglas-Rachford 분할 방법의 관성 변형을 개발한다.
• 비확장 연산자의 고정점 근사에 대해 관성형 Krasnosel’skiï’-Mann 알고리즘의 수렴성을 분석한다.
• 관성 프레임워크를 선형 조합 및 평행합 유형의 연산자를 포함하는 문제에 대한 원본-이중 분할 계획으로 확장한다.
• 제안된 알고리즘을 비미분 가능 볼록 최적화 문제의 원본-이중 쌍을 해결하는 데 적용한다.
• 군집화 및 위치 이론 분야에서 이론적 결과를 수치 실험을 통해 검증한다.

제안 방법

• 비확장 연산자의 고정점으로 향한 수렴 속도를 향상시키기 위해 이전 두 개의 반복값을 사용하는 관성형 Krasnosel’skiï’-Mann 알고리즘을 제안한다.
• 최대 단조성 연산자의 반사 해석자 조합에 관성형 Krasnosel’skiï’-Mann 체계를 적용하여 관성형 Douglas-Rachford 알고리즘을 유도한다.
• 선형 조합 및 평행합 유형의 연산자를 포함하는 단조성 포함 문제 처리를 위해 제품 공간 접근법을 사용한다.
• 개별 연산자의 해석자를 통해 원본 및 이중 변수의 평가를 분리하는 관성형 원본-이중 분할 알고리즘을 유도한다.
• 이중 형식에서 쌍대 함수의 프록시멀 점을 계산하기 위해 Moreau의 분해 공식을 사용한다.
• 일반화된 Heron 문제 및 단위 구와 상자 제약 조건이 있는 위치 이론 문제에 대해 알고리즘을 검증한다.

실험 결과

연구 질문

• RQ1 힐버트 공간 내 단조성 포함 문제에 대해 관성형 Douglas-Rachford 분할 방법을 개발하고 수렴성을 증명할 수 있는가?
• RQ2 관성형 Krasnosel’skiï’-Mann 알고리즘이 기존 버전에 비해 수렴 속도를 어떻게 향상시키는가?
• RQ3 관성형 Douglas-Rachford 체계는 선형 조합 및 평행합 유형의 연산자를 포함하는 단조성 포함 문제를 다룰 수 있는가?
• RQ4 비미분 가능 볼록 최적화 문제에서 제안된 관성형 원본-이중 알고리즘의 성능은 기존 방법 및 서브기울기 방법과 비교해 어떻게 되는가?
• RQ5 군집화 및 위치 이론과 같은 실용적 응용에서 관성 접근법이 더 빠른 수렴을 이끌어내는가?

주요 결과

• 적절한 매개변수 조건 하에서 관성형 Douglas-Rachford 알고리즘은 약수렴 및 강수렴을 달성하며, 고전적 수렴 결과를 확장한다.
• n=3, m=5인 일반화된 Heron 문제에서, 알고리즘 15는 ε = 10^{-5} 조건에서 0.01초, 16회 반복으로 수렴을 달성했으며, 고차원에서 서브기울기 방법보다 뛰어난 성능을 보였다.
• n=2, m=50인 경우, 서브기울기 방법은 ε = 10^{-10}에 도달하는 데 16.78초가 소요되었으나, 알고리즘 15와 비관성형 Douglas-Rachford 방법은 1초 이내에 완료되었다.
• 관성형 원본-이중 알고리즘은 다양한 문제 유형에서 뛰어난 성능을 보였으며, 차원과 집합의 수가 증가함에도 불구하고 계산 시간이 낮게 유지되었다.
• n=3, m=50인 경우, 알고리즘 15는 ε = 10^{-5} 조건에서 0.01초, 19회 반복으로 도달하여 높은 효율성을 보였다.
• 관성 및 분해 구조 덕분에 강력한 볼록성 요구 조건이 없어도 고전적 원본-이중 방법이 실패하는 문제를 성공적으로 해결하였다.