[논문 리뷰] Accelerated Proximal Point Method and Forward Method for Monotone Inclusions

Donghwan Kim|arXiv (Cornell University)|2019. 05. 13.

Optimization and Variational Analysis인용 수 3

한 줄 요약

이 논문은 성능 평가 문제 접근법을 통한 컴퓨터 보조 증명을 사용하여 최대 단조 연산자에 대한 가속화된 프록시멀 점 방법을 제안한다. 이 방법은 프록시멀 승수법과 ADMM과 같은 기본적인 볼록 최적화 알고리즘의 수렴 속도를 향상시키며, 수치 결과를 통해 가속화가 확인되며, 코코어시브 연산자에 대한 향후 방법으로도 확장된다.

ABSTRACT

This paper proposes an accelerated proximal point method for maximally monotone operators. The proof is computer-assisted via the performance estimation problem approach. The proximal point method includes various well-known convex optimization methods, such as the proximal method of multipliers and the alternating direction method of multipliers, and thus the proposed acceleration has wide applications. Numerical experiments are presented to demonstrate the accelerating behaviors. In addition, this paper shows that the proposed acceleration applies to the forward method for cocoercive operators.

연구 동기 및 목표

• 최대 단조 연산자에 대한 가속 프록시멀 점 방법을 개발하여 볼록 최적화에서 수렴 속도를 향상시키는 것.
• 성능 평가 문제 접근법과 컴퓨터 보조 증명을 활용하여 가속화의 타당성을 검증하는 것.
• 프록시멀 승수법과 ADMM와 같은 잘 알려진 알고리즘에 이 방법의 적용 가능성을 보여주는 것.
• 코코어시브 연산자에 대해 향후 방법으로의 가속화 프레임워크를 확장하는 것.
• 실험을 통해 개선된 수렴 행동을 수치적으로 입증하는 것.

제안 방법

• 논문은 수렴 분석을 유한차원 최적화 문제로 공식화하기 위해 성능 평가 문제(PEP) 프레임워크를 사용한다.
• PEP 공식화로부터 유도된 수렴 속도 경계의 타당성을 검증하기 위해 컴퓨터 보조 증명을 활용한다.
• 네스테로프 유형의 가속화에 영감을 얻은 외삽 단계를 도입하여 수렴 속도를 향상시킨다.
• 연산자의 코코어시브성 특성을 활용하여 이 방법을 향후 방법으로 일반화한다.
• 수렴 성능 향상을 검증하기 위해 단조 포함 문제에 대해 알고리즘을 구현하고 수치적으로 테스트한다.
• PEP 모델의 철저한 분석을 통해 수렴 보장을 보장하는 프레임워크를 확립한다.

실험 결과

연구 질문

• RQ1 성능 평가 문제 접근법을 통해 최대 단조 연산자에 대한 프록시멀 점 방법을 가속화할 수 있는가?
• RQ2 이 유형의 연산자에 대해 PEP 프레임워크 하에서 도달 가능한 최적 수렴 속도는 무엇인가?
• RQ3 연산자가 코코어시브일 경우, 가속화 기법이 향후 방법으로도 확장되는가?
• RQ4 실제로 가속화된 방법의 수치 성능는 기존 변형과 비교해 어떻게 되는가?
• RQ5 컴퓨터 보조 증명은 단조 포함 알고리즘의 수렴 속도 검증에 효과적으로 활용될 수 있는가?

주요 결과

• 제안된 가속 프록시멀 점 방법은 최대 단조 연산자에 대해 기존 프록시멀 점 방법보다 더 빠른 수렴 속도를 달성한다.
• 성능 평가 문제를 통한 컴퓨터 보조 증명은 이론적 수렴 속도 경계의 타당성을 확인한다.
• 수치 실험을 통해 실제 적용에서 뚜렷한 가속화가 관찰되며, 테스트 문제 전반에서 더 빠른 수렴이 확인된다.
• 코코어시브 연산자에 대한 향후 방법으로의 가속화 프레임워크는 성공적으로 확장되었으며, 수렴 속도 향상이 이루어졌다.
• ADMM 및 프록시멀 승수법와 같은 잘 알려진 볼록 최적화 알고리즘 전반에 걸쳐 이 방법은 강건성과 적용 가능성 유지한다.
• 성능 평가 문제와 컴퓨터 보조 증명의 조합이 알고리즘 가속화에 효과적임을 입증한다.