[논문 리뷰] Forward-Backward-Half Forward Algorithm with non Self-Adjoint Linear Operators for Solving Monotone Inclusions

Luis M. Briceño-Arias, Damek Davis|arXiv (Cornell University)|2017. 03. 09.

Optimization and Variational Analysis인용 수 4

한 줄 요약

이 논문은 코코어시브 성질을 활용하여 반복마다 연산자 평가를 한 번으로 줄이며, 최대 강한 모나토닉, 연속 모나토닉, 코코어시브 성질을 갖는 세 개의 연산자를 포함하는 모나토닉 포함 문제를 해결하기 위한 새로운 전진-역행-반전전진 알고리즘을 제안한다. 이는 티센의 방법과 전진-역행 분할법을 통합한다. 또한 비자기수선형 선형 연산자를 사용하는 전처리된 변형을 도입하여 블록 삼각형 구조를 가능하게 하고 기존의 원-쌍대 방법을 일반화한다.

ABSTRACT

Tseng's algorithm finds a zero of the sum of a maximally monotone operator and a monotone continuous operator by evaluating the latter twice per iteration. In this paper, we modify Tseng's algorithm for finding a zero of the sum of three operators, where we add a cocoercive operator to the inclusion. Since the sum of a cocoercive and a monotone-Lipschitz operator is monotone and Lipschitz, we could use Tseng's method for solving this problem, but implementing both operators twice per iteration and without taking into advantage the cocoercivity property of one operator. Instead, in our approach, although the {continuous monotone} operator must still be evaluated twice, we exploit the cocoercivity of one operator by evaluating it only once per iteration. Moreover, when the cocoercive or {continuous-monotone} operators are zero it reduces to Tseng's or forward-backward splittings, respectively, unifying in this way both algorithms. In addition, we provide a {preconditioned} version of the proposed method including non self-adjoint linear operators in the computation of resolvents and the single-valued operators involved. This approach allows us to {also} extend previous variable metric versions of Tseng's and forward-backward methods and simplify their conditions on the underlying metrics. We also exploit the case when non self-adjoint linear operators are triangular by blocks in the primal-dual product space for solving primal-dual composite monotone inclusions, obtaining Gauss-Seidel type algorithms which generalize several primal-dual methods available in the literature. Finally we explore {applications to the obstacle problem, Empirical Risk Minimization, distributed optimization and nonlinear programming and we illustrate the performance of the method via some numerical simulations.

연구 동기 및 목표

• 최대 강한 모나토닉, 연속 모나토닉, 코코어시브 성질을 갖는 세 개의 연산자를 포함하는 모나토닉 포함 문제를 효율적으로 해결하기 위한 알고리즘을 개발한다.
• 코코어시브 성질을 활용하여 반복마다 코코어시브 연산자 평가 횟수를 두 번에서 한 번으로 줄인다.
• 세 개의 연산자 중 하나가 0이 되는 경우, 티센의 방법과 전진-역행 분할법이 특수한 경우로 나타나도록 통합한다.
• 해결책과 단일값 연산자 계산에서 비자기수선형 선형 연산자를 통합하여 변수 메트릭 방법을 확장한다.
• 원-쌍대 곱 공간 내 블록 삼각형 구조를 활용하여 기존의 원-쌍대 방법을 일반화한다.

제안 방법

• 알고리즘은 최대 강한 모나토닉 연산자, 연속 모나토닉 연산자, 코코어시브 연산자를 합한 것에 전진-역행-반전전진 프레임워크를 적용한다.
• 연속 모나토닉 연산자는 반복마다 두 번 평가되지만, 코코어시브 연산자는 코코어시브 성질을 활용하여 한 번만 평가되며, 이는 효율성을 향상시킨다.
• 전처리된 변형은 해결책과 연산자 평가에 비자기수선형 선형 연산자를 사용하며, 이는 이전의 변수 메트릭 접근법을 일반화한다.
• 원-쌍대 곱 공간에서의 블록 삼각형 선형 연산자를 허용하여 가우스-세이델 유형의 반복을 가능하게 한다.
• 알고리즘은 모나토닉 연산자 이론을 기반으로 유도되며, 모나토닉성과 리프시츠 연속성에 대한 표준 가정 하에 수렴 분석이 확립된다.
• 비자기수선형 연산자를 통합함으로써 변수 메트릭 방법의 메트릭 조건을 단순화한다.

실험 결과

연구 질문

• RQ1 코코어시브 성질을 활용하여 전진-역행-반전전진 방법을 세 개의 연산자를 포함하는 모나토닉 포함 문제로 확장하고, 코코어시브 연산자 평가 횟수를 줄일 수 있는가?
• RQ2 수렴성을 해치지 않도록 비자기수선형 선형 연산자를 전처리된 분할 방법에 통합할 수 있는가?
• RQ3 제안된 알고리즘이 어떻게 티센의 방법과 전진-역행 분할법을 특수한 경우로 통합하는가?
• RQ4 원-쌍대 곱 공간 내 블록 삼각형 구조를 어떻게 활용하여 가우스-세이델 유형의 원-쌍대 알고리즘을 유도할 수 있는가?
• RQ5 이러한 방법의 응용 분야인 장애물 문제와 분산 최적화 문제에서의 복합 모나토닉 포함 문제 해결에 미치는 영향은 무엇인가?

주요 결과

• 제안된 알고리즘은 코코어시브 연산자를 반복마다 한 번만 평가하여, 표준 티센 유형 방법이 두 번의 평가가 필요한 것보다 더 높은 효율성을 달성한다.
• 코코어시브 연산자가 0이 되는 경우 알고리즘이 티센의 알고리즘으로 줄어들며, 연속 모나토닉 연산자가 0이 되는 경우 전진-역행 분할법으로 줄어들므로 두 방법을 통합한다.
• 비자기수선형 선형 연산자를 사용하는 전처리된 변형은 기존의 변수 메트릭 방법을 일반화하고 그 수렴 조건을 단순화한다.
• 원-쌍대 곱 공간 내 블록 삼각형 구조는 가우스-세이델 유형의 반복을 가능하게 하여 여러 알려진 원-쌍대 방법을 확장한다.
• 수치 실험을 통해 장애물 문제, 경험적 리스크 최소화, 분산 최적화, 비선형 프로그래밍 문제에서의 성능을 검증하였으며, 경쟁적인 수렴 성능을 보였다.