[논문 리뷰] A stochastic inertial forward-backward splitting algorithm for multivariate monotone inclusions

Lorenzo Rosasco, Silvia Villa외 1명|arXiv (Cornell University)|2015. 07. 03.

Optimization and Variational Analysis참고 문헌 43인용 수 4

한 줄 요약

이 논문은 실수 힐버트 공간에서 연산자 평가 시 스토케스틱 오차가 존재하는 다변수 단조 포함 문제를 해결하기 위해 확률적 관성 전진-후행 분할 알고리즘을 제안한다. 알고리즘의 반복이 해로 거의 확실히 수렴함을 보이며, 관성 및 원시-이중 방법을 스토케스틱 설정으로 확장하여 구조적 복합 포함 문제 및 최소화 문제에 대해 이론적 보장을 제공한다.

ABSTRACT

We propose an inertial forward-backward splitting algorithm to compute the zero of a sum of two monotone operators allowing for stochastic errors in the computation of the operators. More precisely, we establish almost sure convergence in real Hilbert spaces of the sequence of iterates to an optimal solution. Then, based on this analysis, we introduce two new classes of stochastic inertial primal-dual splitting methods for solving structured systems of composite monotone inclusions and prove their convergence. Our results extend to the stochastic and inertial setting various types of structured monotone inclusion problems and corresponding algorithmic solutions. Application to minimization problems is discussed.

연구 동기 및 목표

• 힐버트 공간에서 단조 연산자의 노이즈 있는 평가를 다룰 수 있는 스토케스틱 관성 전진-후행 알고리즘을 개발하는 것.
• 알고리즘의 반복이 단조 포함 문제의 해로 거의 확실히 수렴함을 확립하는 것.
• 관성 및 원시-이중 분할 방법을 구조적 복합 단조 포함 문제에 대한 스토케스틱 설정으로 확장하는 것.
• 결합된 단조 포함 문제 시스템을 위한 새로운 스토케스틱 관성 원시-이중 알고리즘 클래스를 도출하는 것.
• 최소한의 가정 조건 하에서 수렴 보장을 제공하는 것, 특히 스토케스틱 오차 조건과 유계 관성 단계를 포함.

제안 방법

• 알고리즘이 이전 반복을 사용하여 관성 항을 포함하여 수렴 속도를 가속화하며, 단계 크기 조건이 합계 조건을 만족한다.
• 코코어시브 연산자 B의 추정을 위해 스토케스틱 오라클을 사용하며, 오차는 평균이 0이고 2차 적분 가능한 랜덤 변수로 모델링된다.
• 복합 단조 포함 문제를 분리하기 위해 제품 힐버트 공간 프레임워크 내에서 전진-후행 분할을 적용한다.
• 펜클-로카펠라르 이중성과 프락시멀 매핑을 사용하여 문제를 재구성함으로써 원시-이중 공식을 유도한다.
• 알고리즘은 프락시멀 단계를 통해 원시 변수를 갱신하고, 스토케스틱 그래디언트를 사용한 기울기 유사 갱신을 통해 이중 변수를 갱신하는 방식으로 번갈아가며 수행된다.
• 스토케스틱 오차 및 관성 파rameter에 대한 가정 하에 리아푸노프 함수와 거의 확실 수렴 분석을 사용하여 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 관성 가속화를 단조 포함 문제에 대한 스토케스틱 전진-후행 분할과 효과적으로 조합할 수 있는가?
• RQ2 스토케스틱 관성 전진-후행 알고리즘이 해로 거의 확실히 수렴하는 조건은 무엇인가?
• RQ3 결합된 복합 단조 포함 문제 시스템을 위한 관성 및 스토케스틱 원시-이중 방법은 어떻게 구성할 수 있는가?
• RQ4 연산자 평가 시 스토케스틱 오차는 수렴에 어떤 역할을 하는가? 그리고 어떻게 제어할 수 있는가?
• RQ5 수렴 이론는 강력한 수렴 보장을 포함하도록 균일하게 볼록 정규화자로 확장될 수 있는가?

주요 결과

• 제안된 스토케스틱 관성 전진-후행 알고리즘은 실수 힐버트 공간에서 단조 포함 문제의 해로 반복이 거의 확실히 수렴한다.
• 알고리즘은 최소한의 가정 조건 하에서 수렴한다: 합계 조건을 만족하는 관성 단계와 연산자 평가에서 2차 적분 가능한 스토케스틱 오차.
• 균일하게 볼록 정규화자를 사용할 경우, 원시 반복이 거의 확실히 강한 수렴을 이룬다.
• 이 방법은 이중성에서 구조적 복합 단조 포함 문제를 위한 두 가지 새로운 스토케스틱 관성 원시-이중 분할 알고리즘 클래스를 도출한다.
• 수렴 결과는 기존의 결정론적 및 스토케스틱 분할 방법을 관성 및 스토케스틱 설정으로 일반화한다.
• 분석 결과는 최소화 문제에 적용 가능하며, 코코어시브 파라미터와 단계 크기를 적절히 선택한 경우로 확장 가능하다.