[논문 리뷰] Generalized Mirror Prox for Monotone Variational Inequalities: Universality and Inexact Oracle

Fedor Stonyakin, Alexander Gasnikov외 3명|arXiv (Cornell University)|2018. 06. 13.

Optimization and Variational Analysis참고 문헌 19인용 수 15

한 줄 요약

이 논문은 제어 가능한 오차와 비제어 가능한 오차를 고려하는 비정확 오라클 모델을 사용하여 헬더 연속성 연산자를 갖는 단조성 변분부등식에 대한 일반화된 미러 프락스 알고리즘을 제안한다. 이 방법은 헬더 지수나 상수에 대한 사전 지식 없이도 최적의 수렴 복잡도를 달성하며, 강한 단조성 및 사다리꼴 문제로의 확장도 이론적 보장을 통해 가능하다.

ABSTRACT

We introduce an inexact oracle model for variational inequalities (VI) with monotone operator, propose a numerical method which solves such VI's and analyze its convergence rate. As a particular case, we consider VI's with Hölder-continuous operator and show that our algorithm is universal. This means that without knowing the Hölder parameter $ν$ and Hölder constant $L_ν$ it has the best possible complexity for this class of VI's, namely our algorithm has complexity $O\left( \inf_{ν\in[0,1]}\left(\frac{L_ν}{\varepsilon} ight)^{\frac{2}{1+ν}}R^2 ight)$, where $R$ is the size of the feasible set and $\varepsilon$ is the desired accuracy of the solution. We also consider the case of VI's with strongly monotone operator and generalize our method for VI's with inexact oracle and our universal method for this class of problems. Finally, we show, how our method can be applied to convex-concave saddle point problems with Hölder-continuous partial subgradients.

연구 동기 및 목표

• 알고리즘의 헬더 연속성 수준이 알려지지 않은 상태에서 헬더 지수나 상수를 알 필요 없이도, 단조성 변분부등식을 위한 유니버설 수치적 방법을 개발하는 것.
• 변분부등식을 위한 비정확 오라클 모델을 정식화하고, 제어 가능한 오차와 비제어 가능한 오차를 구분하는 것.
• 강한 단조성 연산자 및 헬더 연속성 부분하향도를 갖는 사다리꼴 문제에 대해 일반화된 미러 프락스 알고리즘을 확장하는 것.
• 제안된 방법의 표준 및 강한 단조성 설정에서의 엄밀한 복잡도 상한을 확립하는 것.
• 헬더 연속성 연산자를 비정확 오라클로 모델링하여, 유니버설 최적화 방법과 변분부등식 해법 간의 격차를 메우는 것.

제안 방법

• 제어 가능한 오차 $\delta_c$와 비제어 가능한 오차 $\delta_u$를 갖는 비정확 오라클 모델을 도입하여, 단조성 변분부등식에서 연산자를 근사한다.
• 비정확 오라클을 처리하고 수렴성을 유지하기 위해 Bregman 투영과 적응형 스텝 크기를 사용하는 일반화된 미러 프락스 알고리즘을 제안한다.
• Bregman 발산과 연산자의 헬더 연속성을 사용하여 해집합으로부터의 프록시멀 거리 분석을 통해 수렴 속도를 유도한다.
• L_\nu 또는 \nu의 지식이 필요 없이도 유니버설성을 확보하기 위해, 자가 적응적 선 탐색 전략을 통한 복잡도 상한을 확립한다.
• 부분하향도를 비정확 오라클로 모델링하여, 볼록-볼록 사다리꼴 문제에 적용하며, $\delta_u = 4\delta$ 및 $\delta_c = 0$ 조건을 적용한다.
• 강한 단조성 연산자로의 알고리즘 일반화를 통해, 복잡도 상한에서 정확도 $\varepsilon$에 대해 로그적 의존성을 달성한다.

실험 결과

연구 질문

• RQ1 알고리즘의 헬더 연속성 수준이 알려지지 않은 상태에서 헬더 지수나 상수를 알 필요 없이도, 단조성 변분부등식을 위한 유니버설 알고리즘을 설계할 수 있는가?
• RQ2 변분부등식을 위한 비정확 오라클 모델을 어떻게 정식화할 수 있으며, 제어 가능한 오차와 비제어 가능한 오차를 어떻게 분리할 수 있는가?
• RQ3 헬더 연속성 연산자를 갖는 단조성 변분부등식의 최적 수렴 복잡도는 무엇이며, 부드러움 파ameter에 대한 사전 지식 없이도 이를 달성할 수 있는가?
• RQ4 일반화된 미러 프락스 알고리즘은 비정확 오라클을 갖는 강한 단조성 변분부등식과 사다리꼴 문제로 확장될 수 있는가?
• RQ5 유니버설 최적화와 비정확 오라클 방법 간의 연결을 어떻게 정식화하고 활용할 수 있는가?

주요 결과

• 제안된 알고리즘은 헬더 연속성 연산자를 갖는 단조성 변분부등식에서 $O\left(\inf_{\nu\in[0,1]}\left(\frac{L_\nu}{\varepsilon}\right)^{\frac{2}{1+\nu}}R^{2}\right)$ 의 최적 최악의 복잡도를 달성하며, $L_\nu$ 또는 $\nu$ 의 사전 지식이 필요하지 않다.
• 강한 단조성 연산자에 대해서는 복잡도 $O\left(\inf_{\nu\in[0,1]}\left(\frac{L_\nu}{\mu}\right)^{\frac{2}{1+\nu}}\frac{1}{\varepsilon^{\frac{1-\nu}{1+\nu}}}\cdot\log_{2}\frac{R^{2}}{\varepsilon}\right)$ 를 달성하여 정확도에 대해 로그적 의존성을 확보한다.
• 이 방법은 유니버설이다: 문제 인스턴스의 실제 부드러움 수준에 자동으로 적응하며, 이 클래스 문제에 대한 이론적 하한과 일치한다.
• 비정확 오라클 모델은 노이즈가 있거나 근사적인 하향도를 갖는 사다리꼴 문제에서 발생하는 실제 세계의 불확실성을 성공적으로 포착한다.
• 헬더 연속성 부분하향도를 갖는 볼록-볼록 사다리꼴 문제에 대해 적용 가능하며, 오차 항 $O(\delta_u + \delta_c)$ 를 포함한 $\varepsilon$-정확도의 이중성 간격을 달성한다.
• 이론적 프레임워크는 비정확 상대적 부드러움과 강한 볼록성으로 확장되며, 후속 연구 [60] 에서 이를 입증하여 더 넓은 문제 클래스에 대한 광범위한 적용 가능성을 시사한다.