[논문 리뷰] An inertial forward-backward-forward primal-dual splitting algorithm for solving monotone inclusion problems

Radu Ioan Boţ, Ernö Robert Csetnek|arXiv (Cornell University)|2014. 02. 21.

Optimization and Variational Analysis참고 문헌 26인용 수 7

한 줄 요약

이 논문은 힐버트 공간에서 최대 단조성과 리프시츠 연산자를 포함하는 단조 포함 문제를 해결하기 위해 관성 동역학과 곱공간 재구성 기법을 활용한 관성 전진-후진-전진 원-쌍대 분할 알고리즘을 제안한다. 약한 수렴 조건 하에서 미묘한 조건에서도 해로의 약한 수렴을 보장하며, 균일한 볼록성 가정 하에 강한 수렴이 보장된다. 이는 복잡한 단조 연산자 구조(선형 조합형 및 병렬합형 포함)에 적용 가능한 완전히 분해 가능한 전진-후진 유형의 알고리즘이다.

ABSTRACT

We introduce and investigate the convergence properties of an inertial forward-backward-forward splitting algorithm for approaching the set of zeros of the sum of a maximally monotone operator and a single-valued monotone and Lipschitzian operator. By making use of the product space approach, we expand it to the solving of inclusion problems involving mixtures of linearly composed and parallel-sum type monotone operators. We obtain in this way an inertial forward-backward-forward primal-dual splitting algorithm having as main characteristic the fact that in the iterative scheme all operators are accessed separately either via forward or via backward evaluations. We present also the variational case when one is interested in the solving of a primal-dual pair of convex optimization problems with intricate objective functions.

연구 동기 및 목표

• 힐버트 공간에서 최대 단조성 연산자와 단조성, 리프시츠 연산자의 합을 포함하는 단조 포함 문제를 해결하기 위한 관성 전진-후진-전진 알고리즘을 개발한다.
• 곱공간 접근법을 통해 선형 조합형 및 병렬합형 연산자 혼합을 포함하는 원-쌍대 단조 포함 문제로 알고리즘을 확장한다.
• 각 연산자를 별도로 전진 또는 후진 단계를 통해 접근함으로써 완전한 분해 가능성을 확보하여 실용적 구현을 가능하게 한다.
• 일반화된 페이저 모노톤성 기법과 관성 외삽을 사용하여 수렴 성질을 수립한다.
• 복합적인 구조적 목적 함수를 포함한 볼록 최적화 문제에 이 틀을 적용한다. 이는 선형 사상과 이식합을 포함한 문제에 적용 가능하다.

제안 방법

• 이중 이전 반복을 이용한 관성 외삽을 사용하여 수렴 속도를 가속화하며, 이는 2차 동역계에서 영감을 받았다.
• 전진-후진-전진 방식을 사용한다: 단일값 리프시츠 연산자에 대해 전진 단계를, 최대 단조성 연산자의 해석을 통해 후진 단계를 수행한다.
• 곱공간 접근법은 원-쌍대 포함 문제를 곱 힐버트 공간 내의 구조화된 단조 포함 문제로 재구성하여 각 연산자의 별도 평가를 가능하게 한다.
• 관성 매개변수 α₁,n과 α₂,n이 원-쌍대 변수 양쪽에 포함되며, 그 성장과 경계 조건이 수렴 조건을 형성한다.
• 페를레-록파렐라 이중성에 의해 볼록 최적화에 적용되며, 원-쌍대 쌍을 단조 포함 문제로 변환하여 쌍대 함수와 선형 연산자를 포함한다.
• 핵심 구성 요소로는 f와 g_i^*의 프록시 매핑, h와 l_i^*의 그래디언트, 그리고 선형 연산자 L_i^*의 수반 연산자가 포함된다.

실험 결과

연구 질문

• RQ1 최대 단조성 연산자와 리프시츠 연산자를 포함하는 단조 포함 문제에 대해 관성 전진-후진-전진 알고리즘을 설계하고 수렴성을 증명할 수 있는가?
• RQ2 관성 동역학을 원-쌍대 분할 기법에 통합하면서도 완전한 분해 가능성과 수렴성을 유지할 수 있는가?
• RQ3 알고리즘이 어떤 조건에서 해로의 강한 수렴을 달성하는가?
• RQ4 제안된 방법은 선형 조합형 및 병렬합형 연산자와 같은 복잡한 연산자 구조를 다룰 수 있는가?
• RQ5 비미분 가능하고 비강력 볼록 목적 함수를 포함한 볼록 최적화 문제에 적용했을 때의 수렴 보장 조건은 무엇인가?

주요 결과

• 알고리즘은 최적성 조건을 만족하는 해 (x̄, v̄_1, ..., v̄_m)로 수렴하는 반복값 x_n과 v_i,n의 약한 수렴을 보장한다.
• 시리즈 ∑‖x_{n+1}−x_n‖², ∑‖x_n−p_{1,n}‖², ∑‖v_{i,n+1}−v_{i,n}‖², ∑‖v_{i,n}−p_{2,i,n}‖²는 모두 유한하며, 이는 점점 더 안정적인 행동을 의미한다.
• f+h가 균일 볼록이면 x_n이 x̄로의 강한 수렴이 보장되며, g_i^*+l_i^*가 균일 볼록이면 v_i,n이 v̄_i로의 강한 수렴이 달성된다.
• 수렴 조건은 λ_n이 0에서 멀리 떨어져 있고, α_1,n, α_2,n가 비감소적이며, α_1,n, α_2,n ≤ α_1, α_2 이며, 12α₂² + 9(α₁+α₂) + 4σ < 1 이어야 한다.
• 포함 제약 조건이 만족되는 상대 내부 영역에 점이 존재하는 조건 하에서 알고리즘은 여전히 적용 가능하다.
• 관성 항을 포함함으로써 티센의 전진-후진-전진 및 원-쌍대 분할 기법을 일반화하며, 비코코어시브 연산자에도 적용 가능하게 한다.