[논문 리뷰] A general inertial proximal point method for mixed variational inequality problem

Caihua Chen, Shiqian Ma외 1명|arXiv (Cornell University)|2014. 07. 30.

Optimization and Variational Analysis참고 문헌 40인용 수 8

한 줄 요약

이 논문은 약한 조건 하에서 전역 수렴성과 o(1/k) 수렴 속도를 확보하는 혼합 변분부등식 문제를 해결하기 위한 일반적인 관성형 프락시멀 포인트 방법을 제안한다. 선형화된 ADMM가 이 프레임워크의 특수한 경우임을 보이며, 이로 인해 비ergodic 및 ergodic 설정 모두에서 전역 수렴성과 O(1/k) 수렴 속도를 확보할 수 있다. 또한 실용적 성능 향상을 위한 관성형 LADMM를 제안한다.

ABSTRACT

In this paper, we first propose a general inertial proximal point method for the mixed variational inequality (VI) problem. Based on our knowledge, without stronger assumptions, convergence rate result is not known in the literature for inertial type proximal point methods. Under certain conditions, we are able to establish the global convergence and a $o(1/k)$ convergence rate result (under certain measure) of the proposed general inertial proximal point method. We then show that the linearized alternating direction method of multipliers (ADMM) for separable convex optimization with linear constraints is an application of a general proximal point method, provided that the algorithmic parameters are properly chosen. As byproducts of this finding, we establish global convergence and $O(1/k)$ convergence rate results of the linearized ADMM in both ergodic and nonergodic sense. In particular, by applying the proposed inertial proximal point method for mixed VI to linearly constrained separable convex optimization, we obtain an inertial version of the linearized ADMM for which the global convergence is guaranteed. We also demonstrate the effect of the inertial extrapolation step via experimental results on the compressive principal component pursuit problem.

연구 동기 및 목표

• 기존 연구보다 더 약한 가정 조건을 필요로 하는 혼합 변분부등식 문제를 위한 일반적인 관성형 프락시멀 포인트 방법을 개발하는 것.
• 최소한의 단조성 및 행렬 조건 하에서 제안된 관성형 PPA의 전역 수렴성 및 수렴 속도 결과를 확립하는 것.
• 선형 제약 조건을 가진 분리 가능한 볼록 최적화 문제에 대한 선형화된 ADMM가 적절한 매개수 선택 하에서 일반 프락시멀 포인트 방법의 특수한 경우임을 보여주는 것.
• 비ergodic 및 ergodic 두 경우 모두에서 선형화된 ADMM에 대해 전역 수렴성 및 O(1/k) 수렴 속도 결과를 유도하는 것.
• 압축 주성분 추적 문제에서 더 높은 효율성을 확보하기 위해 관성형 선형화된 ADMM(iLADMM)를 제안하고 실증적으로 검증하는 것.

제안 방법

• 해당 방법은 가중치 행렬 G와 매개수 시퀀스 αk를 사용한 관성 외삽 단계를 활용하여 표준 프락시멀 포인트 방법을 일반화한다.
• 혼합 VI 문제를 최대 단조성 연산자 T를 포함한 단조성 포함 문제로 공식화하며, 수렴 분석은 리졸베ント 및 유사 리졸베ント 사상에 기반한다.
• 알고리즘은 일반화된 프락시멀 포인트 갱신을 사용한다: w^{k+1} = argmin_w { F(w) + (1/(2λ)) ||w - (w^k + α_k(w^k - w^{k-1}))||_G^2 }.
• 수렴 분석은 F의 H-단조성과 H의 영공간에서 G의 정부호성에 기반하며, G가 엄격하게 정부호일 필요는 없다.
• 적절한 매개수 선택 하에 선형화된 ADMM의 갱신 단계가 일반 관성형 PPA의 특정 사례임을 보여줌으로써 그 연결성을 확립한다.
• 선형 제약 조건을 가진 분리 가능한 볼록 문제의 원-대안 최적성 조건에 일반 관성형 PPA를 적용하여 관성형 LADMM 변형을 유도한다.

실험 결과

연구 질문

• RQ1 기존의 관성형 PPA 방법보다 더 약한 가정 조건을 필요로 하는 혼합 변분부등식 문제를 위한 일반적인 관성형 프락시멀 포인트 방법을 개발할 수 있는가?
• RQ2 G가 정부호일 필요가 없더라도, 그러한 일반 관성형 PPA에 대해 전역 수렴성 및 수렴 속도 보장을 어떻게 확립할 수 있는가?
• RQ3 선형 제약 조건이 있는 분리 가능한 볼록 최적화 문제에 대한 선형화된 ADMM이 제안된 일반 관성형 PPA 프레임워크의 특수한 경우인가?
• RQ4 제안된 프레임워크를 통해 선형화된 ADMM에 대해 비ergodic 및 ergodic 두 경우 모두에서 전역 수렴성 및 O(1/k) 수렴 속도 결과를 도출할 수 있는가?
• RQ5 관성형 LADMM 변형(iLADMM)은 실질적으로 표준 LADMM보다 성능이 뛰어나며, 외삽 매개수 αk의 선택에 얼마나 민감한가?

주요 결과

• 제안된 관성형 PPA는 기존 연구보다 더 약한 조건 하에서도 전역 수렴성과 o(1/k) 수렴 속도를 확보하며, G가 H의 영공간에서 정부호이기만 하면 된다는 조건 하에 성립한다.
• 알고리즘 매개수를 적절히 선택할 경우 선형화된 ADMM가 일반 관성형 PPA의 특수한 경우임을 엄밀히 증명하였다.
• 결과적으로 비ergodic 및 ergodic 두 경우 모두에서 선형화된 ADMM에 대해 전역 수렴성과 O(1/k) 수렴 속도 결과가 확립되었다.
• 압축 주성분 추적 문제에서 표준 LADMM보다 빠른 성능을 보이는 관성형 LADMM(iLADMM)를 제안하였으며, 이는 전역 수렴성을 그대로 유지한다.
• 실험 결과 iLADMM는 αk ≈ 0.3일 때 가장 우수한 성능를 보이며, αk > 0.3이면 성능이 떨어지며, 특히 q/dof 비율이 낮을 경우 더욱 심각하게 저하됨을 확인하였다.
• 외삽 매개수 αk는 약 0.3에서 일정하게 유지할 경우 가장 효과적이며, 이는 실무적 구현 지침으로서의 유용성을 시사한다.