[논문 리뷰] Accelerated Proximal Point Method for Maximally Monotone Operators

Donghwan Kim|arXiv (Cornell University)|2019. 05. 13.

Optimization and Variational Analysis참고 문헌 59인용 수 12

한 줄 요약

이 논문은 최대 단조 연산자에 대해 컴퓨터 보조 가속 프락시멀 포인트 방법을 제안하며, 고정점 잔여항 측면에서 최악의 경우 수렴 속도를 O(1/i²)로 향상시켜 표준 O(1/i) 속도보다 뚜렷이 향상시킨다. 가속은 성능 평가 문제(PEP) 프레임워크를 통해 유도되며, ADMM, PDHG 및 프락시멀 승수법과 같은 주요 알고리즘으로 확장 가능하며, 수치 결과는 더 빠른 수렴을 확인한다.

ABSTRACT

This paper proposes an accelerated proximal point method for maximally monotone operators. The proof is computer-assisted via the performance estimation problem approach. The proximal point method includes various well-known convex optimization methods, such as the proximal method of multipliers and the alternating direction method of multipliers, and thus the proposed acceleration has wide applications. Numerical experiments are presented to demonstrate the accelerating behaviors.

연구 동기 및 목표

• 최대 단조 연산자에 대해 더 빠른 최악의 경우 수렴 속도를 갖는 가속 프락시멀 포인트 방법을 개발하는 것.
• 볼록 최소화 문제에서의 가속을 일반 단조 포함 문제로 확장하는 것.
• ADMM, PDHG 및 프락시멀 승수법과 같은 잘 알려진 일阶 방법에 가속을 적용하는 것.
• 강한 단조성 조건 하에서 재시작 기법을 통합하여 선형 수렴을 달성하는 것.
• 수치 실험을 통해 가속의 실용적 및 이론적 이점을 입증하는 것.

제안 방법

• 방법은 성능 평가 문제(PEP) 접근법을 사용하여 프락시멀 포인트 방법의 가속된 변형을 유도한다.
• PEP의 정수형 프로그래밍 공식화를 통해 단계 계수를 최적화하여 가속을 달성한다.
• 알고리즘은 네스테로프 가속에 영감을 받은 외삽 단계를 사용하며, 이를 단조 연산자 포함 문제에 적응시킨다.
• 강한 단조성 조건 하에서 선형 수렴을 달성하기 위해 재시작 전략을 적용한다.
• 요시다 근사 프레임워크를 통해 코코어시브 연산자에 대한 전진 방법에 적용한다.
• 컴퓨터 보조 증명을 기반으로 한 PEP 프레임워크를 사용하여 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 최대 단조 연산자에 대한 프락시멀 포인트 방법의 최악의 경우 수렴 속도를 O(1/i)를 초월해 가속시킬 수 있는가?
• RQ2 PEP 접근법이 단조 포함 문제에 대해 증명 가능하게 가속된 방법을 도출하는 데 기여하는가?
• RQ3 제안된 가속은 ADMM 및 PDHG와 같은 표준 일阶 방법으로 확장될 수 있는가?
• RQ4 강한 단조성 조건 하에서 재시작의 영향은 수렴 속도에 어떤가?
• RQ5 실제 적용에서 가속된 방법은 표준 변형보다 어떻게 비교되는가?

주요 결과

• 제안된 방법은 고정점 잔여항 측면에서 O(1/i²) 최악의 경우 수렴 속도를 달성하며, 표준 O(1/i) 속도를 향상시킨다.
• 가속은 수치적으로 검증되었으며, 다양한 테스트 문제에서 표준 프락시멀 포인트 방법보다 더 빠른 수렴을 보였다.
• ADMM에 성공적으로 적용되어 이론적 O(1/i²) 경계와 유사한 속도를 달성하였으며, 재시작를 통해 관측된 진동 현상이 완화되었다.
• 강한 단조성 조건 하에서 재시작 기법은 선형 수렴을 달성하여 실용적 사례에서 표준 프락시멀 포인트 방법을 능가했다.
• 코코어시브 연산자에 대한 전진 방법으로의 확장은 요시다 근사를 통해 이루어졌으며, 가속된 경량 기반 방법을 가능하게 하였다.
• 컴퓨터 보조 PEP 접근법은 가속된 방법의 엄밀한 유도 및 검증을 가능하게 하였으며, 문헌에서 알려진 가속된 체계와의 동치성을 입증하였다.