[논문 리뷰] Stochastic Quasi-Fej\\'er Block-Coordinate Fixed Point Iterations With Random Sweeping II: Mean-Square and Linear Convergence

Patrick L. Combettes, Jean‐Christophe Pesquet|arXiv (Cornell University)|2017. 04. 26.

Optimization and Variational Analysis참고 문헌 31인용 수 20

한 줄 요약

이 논문은 무작위 순환과 확률적 오차를 동반한 확률적 블록좌표 고정점 반복에 대해 평균 제곱수 수렴성과 선형 수렴성을 확립하며, 이는 이전의 거의 확실한 수렴 결과를 확장한 것이다. 논문은 연산자에 대해 수축 유사 조건을 만족할 경우 선형 수렴성을 증명하며, 단조 연산자 분할 및 프록시멀 최적화 분야에서 이러한 블록좌표 알고리즘에 대해 처음으로 이러한 결과를 제시한다.

ABSTRACT

Reference [11] investigated the almost sure weak convergence of block-coordinate fixed point algorithms and discussed their applications to nonlinear analysis and optimization. This algorithmic framework features random sweeping rules to select arbitrarily the blocks of variables that are activated over the course of the iterations and it allows for stochastic errors in the evaluation of the operators. The present paper establishes results on the mean-square and linear convergence of the iterates. Applications to monotone operator splitting and proximal optimization algorithms are presented.

연구 동기 및 목표

• 무작위 순환과 확률적 오차를 동반한 확률적 블록좌표 고정점 반복에 대해 평균 제곱수 수렴성과 선형 수렴성을 확립하기.
• 이전의 거의 확실한 약한 수렴 결과를 평균 제곱수 수렴성과 선형 수렴성의 더 강력한 보장을 통해 확장하기.
• 단조 연산자 이론에서 전진-뒤로 분할 알고리즘과 블록좌표 버전의 수렴 분석을 제공하기.
• 반복이 선형적으로 수렴할 조건을 도출하여, 확률적 편향과 무작위 블록 활성화 조건이 존재하더라도 수렴 가능성을 보장하기.
• 일반적인 무작위 순환 규칙 하에서 프록시멀 및 단조 연산자 분할 알고리즘에 대해 새로운 수렴 결과를 제시하기.

제안 방법

• 힐베르트 공간에서의 확률적 준-페저 프레임워크를 사용하여 무작위 순환과 확률적 오차를 동반한 블록좌표 고정점 반복를 모델링한다.
• 연산자에 대해 수축 유사 조건을 도입한다: ‖Tₙx − z‖ ≤ √τₙ‖x − z‖, 여기서 τₙ ∈ [0,1)이며, 이는 엄격한 준비확장성과 유일한 고정점 집합을 보장한다.
• 알고리즘 1.2의 반복을 분석하며, 각 반복에서 랜덤으로 선택된 블록만 업데이트하고, 이때 유도 매개변수 λₙ과 확률적 오차 aᵢₙ을 사용한다.
• 수축 성질과 무작위 순환 규칙을 활용하여 오차의 기대 제곱 노름을 유계화함으로써 평균 제곱수 수렴성을 도출한다.
• λₙ, γₙ, τₙ에 대한 특정 매개변수 조건 하에서 오차가 기하급수적으로 감소함을 보여 기하급수 수렴성을 확립한다.
• 프레임워크를 전진-뒤로 분할 및 프록시멀 알고리즘에 적용하여, 미분 가능하고 강력 볼록 함수를 포함하는 문제에 대해 수렴 보장을 도출한다.

실험 결과

연구 질문

• RQ1 무작위 순환과 확률적 오차를 동반한 확률적 블록좌표 고정점 반복이 평균 제곱수 수렴성으로 수렴하기 위한 조건은 무엇인가?
• RQ2 기저 연산자가 균일한 수축 성질을 만족할 경우, 이러한 반복에 대해 선형 수렴성을 확립할 수 있는가?
• RQ3 무작위 순환 규칙과 확률적 오차는 결정론적 또는 순환적 방법에 비해 수렴 속도에 어떤 영향을 미치는가?
• RQ4 이러한 확률적 프레임워크 하에서 블록좌표 전진-뒤로 알고리즘과 프록시멀 알고리즘의 수렴 성질는 무엇인가?
• RQ5 수렴 속도는 유도 매개변수의 선택, 확률적 오차 분산, 연산자 수축 매개변수에 따라 어떻게 달라지는가?

주요 결과

• 논문은 각 연산자 Tₙ가 τₙ ∈ [0,1)을 만족하는 균일한 수축 조건을 만족할 경우 반복의 평균 제곱수 수렴성을 확립한다.
• 매개변수 λₙ과 γₙ가 τₙ 및 문제 매개변수와 관련된 특정 부등식을 만족할 경우 기하급수적 감소를 보장하는 기대 오차의 기하급수 수렴성이 증명된다.
• 수렴 속도는 매개변수 τₙ, λₙ 및 확률적 오차 분산으로부터 유도된 1보다 작은 수축 계수로 정량화된다.
• 전진-뒤로 알고리즘의 경우, 수렴 조건은 스텝 사이즈 γₙ이 0에서 벗어나야 하며, 문제의 강력 볼록성 및 리프시츠 매개변수에 따라 특정 상한을 만족해야 한다는 것으로 간소화된다.
• 이 결과들은 무작위 순환과 확률적 오차를 동반한 블록좌표 확률적 고정점 반복에 대해 선형 수렴성을 처음으로 확립한 것으로, 단일 블록 케이스조차도 해당된다.
• 이 프레임워크는 프록시멀 최적화 및 단조 연산자 분할에 적용 가능하며, 미분 가능하고 강력 볼록 함수를 포함하는 문제에 대해 명시적인 수렴 보장을 제공한다.