[논문 리뷰] Stochastic Quasi-Fejér Block-Coordinate Fixed Point Iterations with Random Sweeping

Patrick L. Combettes, Jean‐Christophe Pesquet|arXiv (Cornell University)|2014. 04. 29.

Optimization and Variational Analysis참고 문헌 46인용 수 10

한 줄 요약

이 논문은 힐버트 공간에서 단조 포함 문제와 볼록 최적화 문제를 해결하기 위해 난수 스위핑 규칙과 확률적 오차를 사용하는 새로운 스토하스틱 블록좌표 고정점 프레임워크를 제안한다. 새로운 스토하스틱 준-페저 모나토닉리티 이론을 통해 반복 해의 거의 확실한 약한 수렴과 강한 수렴을 확립하며, Douglas-Rachford 및 전진-뒤로 스플리팅과 같은 결정론적 및 랜덤 알고리즘을 블록좌표 및 스토하스틱 설정으로 일반화하고 확장한다.

ABSTRACT

This work proposes block-coordinate fixed point algorithms with applications to nonlinear analysis and optimization in Hilbert spaces. The asymptotic analysis relies on a notion of stochastic quasi-Fejér monotonicity, which is thoroughly investigated. The iterative methods under consideration feature random sweeping rules to select arbitrarily the blocks of variables that are activated over the course of the iterations and they allow for stochastic errors in the evaluation of the operators. Algorithms using quasinonexpansive operators or compositions of averaged nonexpansive operators are constructed, and weak and strong convergence results are established for the sequences they generate. As a by-product, novel block-coordinate operator splitting methods are obtained for solving structured monotone inclusion and convex minimization problems. In particular, the proposed framework leads to random block-coordinate versions of the Douglas-Rachford and forward-backward algorithms and of some of their variants. In the standard case of $m=1$ block, our results remain new as they incorporate stochastic perturbations.

연구 동기 및 목표

• 임의의 샘플링과 스토하스틱 오차를 갖는 힐버트 공간에서의 스토하스틱 블록좌표 고정점 반복의 일반 수렴 프레임워크를 개발하는 것.
• 비선형 해석학 및 최적화에서 랜덤화, 블록 구조, 오차 내성 설정으로의 고정점 이론을 일반화하는 것.
• 랜덤 블록좌표 연산자 분할을 통해 구조화된 단조 포함 문제와 볼록 최소화 문제에 대한 수렴 보장을 제공하는 것.
• 랜덤화된 Douglas-Rachford 및 전진-뒤로 방법과 같은 기존 알고리즘들을 단일한 스토하스틱 준-페저 수렴 이론 아래 통합하고 일반화하는 것.

제안 방법

• 거의 초마팅게일 성질에 기반한 스토하스틱 준-페저 모나토닉리티 프레임워크를 제안하여, 난수 스위핑과 스토하스틱 오차 하에서의 수렴을 분석한다.
• 임의의 블록 선택을 허용하는 쿼asi-비확장성 또는 평균화된 비확장성 연산자의 조합을 사용한 블록좌표 고정점 반복을 설계한다.
• 각 반복에서 블록을 임의로 샘플링할 수 있는 랜덤 스위핑 규칙을 도입하여 유연성과 분산 구현을 가능하게 한다.
• 스텝 크기, 이완 매개변수, 오차 분포에 대한 조건 하에서 알고리즘에 의해 생성된 수열의 수렴 결과를 유도한다.
• 구조화된 볼록 최소화 문제에 대해 원형-쌍대성, Douglas-Rachford, 전진-뒤로 알고리즘의 랜덤 블록좌표 변형을 프레임워크를 적용하여 유도한다.
• Baillon-Haddad 정리를 사용하여 기울기 연산자의 리프시츠 연속성을 확보함으로써, 유계 오차 가정 하에서의 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 힐버트 공간에서 임의의 난수 스위핑과 스토하스틱 오차 하에서도 수렴을 보장하는 일반적인 스토하스틱 블록좌표 고정점 프레임워크를 개발할 수 있는가?
• RQ2 스토하스틱 준-페저 모나토닉리티는 어떻게 정의하고, 이를 활용하여 난수 샘플링을 포함한 반복 수열의 거의 확실한 수렴을 증명할 수 있는가?
• RQ3 스텝 크기, 이완 매개변수, 오차 분포에 대한 어떤 조건이 블록좌표 고정점 반복의 약한 또는 강한 수렴을 보장하는가?
• RQ4 제안된 프레임워크를 어떻게 적용하여 Douglas-Rachford 및 전진-뒤로와 같은 고전적 스플리팅 알고리즘의 새로운 랜덤 블록좌표 변형을 도출할 수 있는가?
• RQ5 반복 수열이 강하게 거의 확실하게 수렴하는 조건는 무엇이며, demiregularity 가정은 이를 보장하는 데 어떻게 활용될 수 있는가?

주요 결과

• 제안된 스토하스틱 블록좌표 고정점 알고리즘은 스텝 크기와 오차 분포에 대한 일반 조건 하에서 고정점으로 거의 확실하게 약하게 수렴한다.
• 하위미분 연산자 또는 문제 구조 내 기울기 매핑에 대한 추가적인 demiregularity 가정 하에서 강한 수렴이 확립된다.
• 이 프레임워크는 결정론적 블록좌표 방법을 일반화하며, 힐버트 공간에서 랜덤화, 오차 내성, 블록좌표 고정점 반복의 첫 번째 수렴 분석을 제공한다.
• Douglas-Rachford 및 전진-뒤로 알고리즘의 랜덤 블록좌표 변형은 특수한 경우로 도출되며, 수렴 보장이 있다.
• 표준 단일 블록 경우(m=1)에서도 수렴 결과는 그대로 유지되며, 이는 스토하스틱 편향을 포함하고 있기에 새로운 결과이다.
• 이 방법은 블록의 임의의 샘플링을 허용하며, 이완과 스토하스틱 오차를 모두 지원하여 대규모 최적화에서의 유연성과 강건성을 향상시킨다.