[논문 리뷰] An accelerated forward-backward algorithm for monotone inclusions.

Dirk A. Lorenz, Thomas Pock|arXiv (Cornell University)|2014. 03. 14.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 9

한 줄 요약

이 논문은 네스테로프의 가속 경사 하강법에 영감을 받아, 한 개의 공공공식 연산자를 포함하는 단조 포함 문제를 해결하기 위한 관성 전진-후행 분할 알고리즘을 제안한다. 기존의 1차 방법보다 더 빠른 수렴 속도를 달성하면서도 반복당 계산 비용은 유사하게 유지하며, 힐버트 공간 내에서의 볼록-볼록 사 saddle 문제와 일반적인 단조 포함 문제에 적용 가능하다.

ABSTRACT

In this paper, we propose an inertial forward backward splitting algorithm to compute a zero of the sum of two monotone operators, with one of the two operators being co-coercive. The algorithm is inspired by the accelerated gradient method of Nesterov, but can be applied to a much larger class of problems including convex-concave saddle point problems and general monotone inclusions. We prove convergence of the algorithm in a Hilbert space setting and show that several recently proposed first-order methods can be obtained as special cases of the general algorithm. Numerical results show that the proposed algorithm converges faster than existing methods, while keeping the computational cost of each iteration basically unchanged.

연구 동기 및 목표

• 두 개의 단조 연산자의 합의 영점을 효율적으로 계산하기 위한 1차 알고리즘을 개발하는 것.
• 부드러운 볼록 최적화를 초월한 단조 포함 문제에 네스테로프의 가속 기법을 확장하는 것.
• 최근에 제안된 여러 1차 방법들을 단일 프레임워크의 특수 케이스로 통합하고 일반화하는 것.
• 낮은 반복당 복잡도를 유지하면서도 힐버트 공간 설정에서 수렴성을 보장하는 것.

제안 방법

• 수렴 속도를 가속하기 위해 네스테로프의 운동량 방법에 영감을 받은 관성 항을 알고리즘에 통합한다.
• 이완 파라미터를 사용하여 단조 연산자의 합을 다루기 위해 전진-후행 분할 기법을 적용한다.
• 한 연산자의 공공식성 덕분에 더 강력한 수렴 보장을 확보하고 더 빠른 반복을 가능하게 한다.
• 알고리즘은 힐버트 공간에서 제작되어 볼록-볼록 사 saddle 문제와 일반적인 단조 변분부등식 문제에 넓은 적용 가능성을 갖는다.
• 리아푸노프 분석 및 비확장 연산자의 성질을 이용하여 알고리즘의 수렴성을 증명한다.
• 변수 파라미터와 관성 초이완을 允허함으로써 기존 방법들을 일반화하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 네스테로프 유형의 가속은 공공식 연산자를 갖는 단조 포함 문제에 효과적으로 확장될 수 있는가?
• RQ2 기존의 1차 방법에 비해 관성 전진-후행 방법의 수렴 속도는 어떻게 비교되는가?
• RQ3 일반적인 힐버트 공간 설정에서 알고리즘의 수렴 행동은 어떠한가?
• RQ4 기존의 1차 방법 중 어떤 것들이 제안된 프레임워크의 특수 케이스로 복원될 수 있는가?

주요 결과

• 제안된 알고리즘은 기존의 1차 방법보다 단조 포함 문제에서 더 빠른 수렴 속도를 달성한다.
• 표준 전진-후행 분할에 비해 수렴 속도가 가속되며, 반복당 계산 비용은 증가하지 않는다.
• 최근에 제안된 여러 1차 방법들이 일반 알고리즘의 특수 케이스로 밝혀졌다.
• 이 방법은 볼록-볼록 사 saddle 점 문제와 힐버트 공간 내 일반적인 단조 포함 문제에 적용 가능하다.