[논문 리뷰] Linear and strong convergence of algorithms involving averaged nonexpansive operators

Heinz H. Bauschke, Dominikus Noll외 1명|arXiv (Cornell University)|2014. 02. 21.

Optimization and Variational Analysis참고 문헌 31인용 수 89

한 줄 요약

이 논문은 힐버트 공간에서 평균화 비확장 연산자를 포함하는 반복 알고리즘의 선형 수렴성 및 강수렴성에 대해 검증 가능한 조건을 설정한다. 유계 선형 정규성과 내재 정규성 개념을 도입함으로써, 저자들은 연산자와 고정점 집합이 이러한 정규성 조건을 만족할 경우, 준주기적, 순환적, 무작위 알고리즘이 선형 또는 강수렴함을 증명한다. 이는 Borwein–Tam 방법과 순환적으로 锚 정렬된 Douglas–Rachford 알고리즘(CADRA)에 응용된다.

ABSTRACT

We introduce regularity notions for averaged nonexpansive operators. Combined with regularity notions of their fixed point sets, we obtain linear and strong convergence results for quasicyclic, cyclic, and random iterations. New convergence results on the Borwein-Tam method (BTM) and on the cylically anchored Douglas-Rachford algorithm (CADRA) are also presented. Finally, we provide a numerical comparison of BTM, CADRA and the classical method of cyclic projections for solving convex feasibility problems.

연구 동기 및 목표

• 평균화 비확장 연산자를 기반으로 하는 반복 알고리즘의 선형 수렴성 및 강수렴성에 대한 충분조건을 설정하기.
• 유계 선형 정규성과 내재 정규성 개념을 도입하고, 이들이 수렴 분석의 핵심 도구로 사용되는 것을 분석하기.
• Borwein–Tam 방법(BTM)과 순환적으로 锚 정렬된 Douglas–Rachford 알고리즘(CADRA)에 대한 새로운 수렴 결과를 제공하기.
• 凸성 타당성 문제를 해결하는 데 있어 BTM, CADRA, 고전적 순환 투영의 수치적 성능을 비교하기.
• 유한차원 설정에서 이론적 수렴 보장과 실질적 알고리즘 성능 간의 다리를 놓기.

제안 방법

• 평균화 비확장 연산자와 그 고정점 집합에 대해 유계 선형 정규성을 도입하고, 선형 정규성을 局소적 행동으로 일반화하기.
• Fejér 모노톤성과 집합들의 정규성 개념을 사용하여 반복적 알고리즘의 수렴 행동을 분석하기.
• 평균화 비확장 연산자의 개념을 투영 및 분할 방법(예: Douglas–Rachford 및 완화 기법 포함)을 모델링하는 데 적용하기.
• 개별 연산자의 유계 선형 정규성과 고정점 집합 교차의 정규성을 결합하여 수렴 속도를 유도하기.
• 평균화 연산자의 볼록 조합을 사용하여 준주기적, 순환적, 무작위 순차적 반복을 수식화하기.
• 랜덤 볼록 집합을 갖는 ℝ¹⁰⁰에서의 수치 실험을 통해 이론적 결과를 검증하고, BTM, CADRA, 순환 투영 간 비교 수행하기.

실험 결과

연구 질문

• RQ1 평균화 비확장 연산자를 포함하는 준주기적 알고리즘이 선형으로 수렴하는 조건은 무엇인가?
• RQ2 순환적 및 무작위 순차적 알고리즘이 언제 강수렴하며, 이러한 수렴을 보장하는 정규성 조건은 무엇인가?
• RQ3 Borwein–Tam 방법과 순환적으로 锚 정렬된 Douglas–Rachford 알고리즘(CADRA)에 대해 어떤 수렴 보장이 가능할 수 있는가?
• RQ4 실제로 볼록 타당성 문제에 대해 BTM, CADRA, 순환 투영의 수렴 속도는 어떻게 비교되는가?
• RQ5 유게 선형 정규성과 내재 정규성은 분할 방법에 대한 수렴 결과를 통합하고 강화하는 데 사용될 수 있는가?

주요 결과

• 각 연산자가 유게 선형 정규성이고 고정점 집합의 가중족이 유게 선형 정규성일 경우, 준주기적 평균화 알고리즘은 선형으로 수렴한다.
• 각 연산자가 유게 정규성이고 고정점 집합의 가중족이 유게 정규성일 경우, 순환 알고리즘은 강수렴한다.
• 각 연산자가 유게 정규성이고 고정점 집합의 가중족이 내재적으로 유게 정규성일 경우, 무작위 순차적 알고리즘은 강수렴한다.
• 기저 연산자와 고정점 집합이 유게 선형 정규성일 경우, Borwein–Tam 방법은 선형으로 수렴한다.
• 유한차원에서, 앵커와 집합들의 상대내부가 교차하거나, 모든 집합이 닫힌 합을 갖는 부분공간이며 유게 선형 정규성을 만족할 경우, CADRA는 선형으로 수렴한다.
• 수치 실험 결과, CADRA는 순환 투영과 BTM보다 반복 횟수 측면에서 뛰어나며, 특히 중간 정도로 결정된 문제(m ≤ 30)에서는 CADRA가 98%의 경우에서 가장 빠른 성능를 보였다.