[논문 리뷰] A Forward-Backward Splitting Method for Monotone Inclusions Without Cocoercivity

Yura Malitsky, Matthew K. Tam|arXiv (Cornell University)|2018. 08. 13.

Numerical methods in inverse problems참고 문헌 32인용 수 14

한 줄 요약

이 논문은 단일 다가함수 연산자의 cocoercivity를 요구하지 않고 수렴하는 단조 포함 문제를 위한 새로운 전진-후진 분할 방법을 제안한다. 이는 Tseng의 방법과 달리 반복마다 전진 평가를 단 한 번만 사용한다. 이 방법은 Tseng의 방법과 동일한 온건한 가정 하에서 수렴성을 확보하며, 실용적 효율성을 향상시키면서도 약한 수렴성을 유지한다.

ABSTRACT

In this work, we propose a simple modification of the forward-backward splitting method for finding a zero in the sum of two monotone operators. Our method converges under the same assumptions as Tseng's forward-backward-forward method, namely, it does not require cocoercivity of the single-valued operator. Moreover, each iteration only requires one forward evaluation rather than two as is the case for Tseng's method. Variants of the method incorporating a linesearch, relaxation and inertia, or a structured three operator inclusion are also discussed.

연구 동기 및 목표

• 단일 다가함수 연산자의 cocoercivity를 요구하지 않고 수렴하는 전진-후진 분할 방법을 개발하기 위해.
• Tseng의 방법이 두 번의 전진 평가가 필요한 것과 달리, 반복마다 한 번의 전진 평가만 사용하여 계산 비용을 감소시키기 위해.
• 선색색, 이완, 관성, 구조적 세 개의 연산자 포함 문제를 포함하도록 방법을 확장하기 위해.
• Tseng의 방법의 알려진 가장 약한 조건과 동일한 최소한의 가정 하에서 수렴 분석을 제공하기 위해.
• 미래 연구를 위한 고정점 이론과 잠재적 가속화 기법 간의 관계를 탐색하기 위해.

제안 방법

• 이 방법은 반복마다 단일 다가함수 연산자 B의 한 번의 전진 평가와 A의 해석자(resolvent)에 대한 한 번의 후진 평가를 사용한다.
• 이전 기울기 평가의 반사(reflection)를 통합하여 수렴을 안정화하는 수정된 전진-반사-후진 단계를 도입한다.
• 알고리즘은 $ x_{k+1} = J_{\lambda A}(x_k - \lambda B(x_k) + \lambda (B(x_k) - B(x_{k-1}))) $로 표현되며, 과거와 현재의 기울기 정보를 통합한다.
• 주어진 가정 하에서 수렴성이 라플라스 함수 $ \varphi_k $를 통해 확립되며, 이 함수가 수퍼마틴게일임을 보여 수렴성과 연속적인 반복 간 차이의 소멸을 암시한다.
• 업데이트 규칙의 적절한 수정을 통해 선색색, 이완, 관성, 구조적 세 개의 연산자 포함 문제를 포함하도록 방법을 확장한다.
• 대규모 설정에서 B의 저비용 근사치를 활용하여 향후 확장으로서 확률적 및 좌표 기반 확장이 고려된다.

실험 결과

연구 질문

• RQ1 단일 다가함수 연산자의 cocoercivity를 요구하지 않고도 수렴하는 전진-후진 방법을 설계할 수 있는가?
• RQ2 Tseng의 방법과 동일한 수렴 보장을 유지하면서도 반복마다 한 번의 전진 평가만으로 수렴을 달성할 수 있는가?
• RQ3 반사된 기울기 항이 온건한 가정 하에서 수렴을 안정화하는 데 어떤 역할을 하는가?
• RQ4 이 방법은 어떻게 이완, 관성, 또는 구조적 세 개의 연산자 포함 문제를 포함하도록 조정될 수 있는가?
• RQ5 이 방법은 대규모 문제를 위한 확률적 또는 좌표 기반 강하(variant)로 확장될 수 있는가?

주요 결과

• 제안된 방법은 Tseng의 방법과 동일한 가정 하에서 단일 다가함수 연산자 B의 cocoercivity를 요구하지 않고도 단조 포함 문제 $ 0 \in (A + B)(x) $의 해로 약한 수렴을 보장한다.
• 라플라스 함수 $ \varphi_k $를 통해 수렴성이 확립되며, 이 함수가 수퍼마틴게일임을 보여 수렴성과 연속적인 반복 간 차이의 소멸을 암시한다.
• 이 방법은 반복마다 한 번의 전진 평가만으로도 수렴성을 확보하여, Tseng의 방법이 두 번의 전진 평가가 필요한 것보다 계산 비용을 줄였다.
• 수열 $ (x_k) $는 거의 확실하게 유계이며, 모든 약한 순차적 클러스터 점들은 $ (A + B)^{-1}(0) $에 속해 있어 해로의 약한 수렴을 암시한다.
• 적절한 재구성에 의해 이 방법은 볼록 최소화, 사 saddle point 문제, 변분부등식 문제에 적용 가능하다.
• 분석 결과는 가속화 및 확률적 확장의 잠재적 가능성을 시사하며, 고정점 해석은 여전히 열려 있는 연구 방향으로 남아 있다.