[논문 리뷰] Golden Ratio Algorithms for Variational Inequalities

Yura Malitsky|arXiv (Cornell University)|2018. 03. 23.

Optimization and Variational Analysis참고 문헌 53인용 수 8

한 줄 요약

이 논문은 단조성 변분부등식을 위한 완전히 적응형이며 선검색을 필요로 하지 않는 알고리즘을 제안하며, 단일 비율을 사용해 단계 크기를 동적으로 계산한다. 이 알고리즘은 에르고딕 O(1/k) 수렴 속도와 오차 유계 조건 하에서 R-선형 수렴 속도를 달성하며, 각 반복에서 단 하나의 단조성 연산자 F 평가와 하나의 프록시 매핑만 필요로 하며, F가 전역 리프시츠 연속이 아닐 경우에도 적용 가능하다.

ABSTRACT

The paper presents a fully explicit algorithm for monotone variational inequalities. The method uses variable stepsizes that are computed using two previous iterates as an approximation of the local Lipschitz constant without running a linesearch. Thus, each iteration of the method requires only one evaluation of a monotone operator $F$ and a proximal mapping $g$. The operator $F$ need not be Lipschitz-continuous, which also makes the algorithm interesting in the area of composite minimization where one cannot use the descent lemma. The method exhibits an ergodic $O(1/k)$ convergence rate and $R$-linear rate, if $F, g$ satisfy the error bound condition. We discuss possible applications of the method to fixed point problems. We discuss possible applications of the method to fixed point problems as well as its different generalizations.

연구 동기 및 목표

• 연산자 F가 전역 리프시츠 연속이 아닐 때도 적용 가능한 적응형이며 선검색이 없는 단조성 변분부등식 해법을 개발하는 것.
• F의 전역 리프시츠 상수를 사전에 알 필요 없이 수렴을 보장하는 것. 이는 종종 계산하기 어려운 값이다.
• 선검색이 필요로 하는 방법들보다 효율성을 향상시키기 위해 각 반복에서 F 평가와 프록시 매핑을 각각 하나만 사용하는 것.
• 오차 유계 조건과 같은 적절한 조건 하에서 에르고딕 O(1/k) 수렴과 R-선형 수렴 속도를 확립하는 것.
• 복합 최소화 문제와 고정점 문제에 응용할 수 있도록 방법을 확장하고, 관성 확장 및 스 tochastic 변형과 같은 일반화를 탐색하는 것.

제안 방법

• 이전 반복값의 볼록 조합을 사용해 F의 국소 역리프시츠 상수를 근사함으로써 선검색을 피함.
• 황금비율 φ ≈ 1.618을 사용해 외삽 단계를 정의하여 단계 크기가 0에서 멀리 떨어지도록 보장함.
• 각 반복에서 z^{k+1} = prox_{λg}(z̄^k - λF(z^k))를 계산함. 여기서 z̄^k는 이전 반복값의 가중 평균이다.
• 단계 크기 λ는 황금비율과 연속된 반복값 간의 노름 차이를 기반으로 적응적으로 선택됨.
• 고정점 공식화를 통해 강한 비확장성 및 비확장성 연산자의 복합체를 기반으로 한 방법.
• 수렴 분석은 F의 단조성과 프록시 연산자의 성질에 기반하며, F에 대한 전역 리프시츠 연속성 가정이 없음.

실험 결과

연구 질문

• RQ1 단조성 변분부등식 문제에 대해 이전 반복값만을 사용해 단계 크기를 적응적으로 조절하는 선검색이 없는 알고리즘을 설계할 수 있는가?
• RQ2 F의 전역 리프시츠 상수를 요구하지 않는 이러한 적응형 방법이 달성할 수 있는 수렴 속도는 무엇인가?
• RQ3 외삽 단계에서 황금비율을 사용할 경우 알고리즘의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ4 복합 최소화 문제에서 기울기가 리프시츠 연속이 아닌 경우와 같이 F가 전역 리프시츠 연속이 아닐 수 있는 문제에 이 방법을 어떻게 확장할 수 있는가?
• RQ5 비단조성 또는 스 tochastic 환경에서 이 방법의 수렴 행동에 어떤 함의가 있는가?

주요 결과

• 선검색이 없고 F의 전역 리프시츠 연속성 조건이 없더라도 단조성 변분부등식에 대해 에르고딕 수렴 속도 O(1/k)를 달성함.
• 오차 유계 조건 하에서 R-선형 수렴을 보이며, 해에 가까워질수록 빠른 국소 수렴을 나타냄.
• 수치 실험 결과, 적응형 황금비율 알고리즘(aGRAAL)은 차원 100에서 5000까지의 비단조성 문제를 높은 성공률(99–100%)로 성공적으로 해결함.
• 평균적으로 n=1000일 경우 667회 반복, n=5000일 경우 1532회 반복하여 ∥F(z^k)∥ ≤ 10^{-6}의 정확도를 달성함으로써 확장성 입증.
• 비선형성이 매우 높은 경우, 예를 들어 삼각함수와 지수함수와 같은 초월함수를 포함한 테스트 문제(79)에서도 알고리즘이 강건함을 입증함.
• 계산적으로 효율적이며, 각 반복에서 F 평가와 프록시 매핑을 각각 하나만 필요로 하므로 대규모 문제에 적합함.