[논문 리뷰] A Universal Algorithm for Variational Inequalities Adaptive to Smoothness and Noise

Francis Bach, Kfir Y. Levy|arXiv (Cornell University)|2019. 02. 05.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 29

한 줄 요약

이 논문은 부드럽지 않은 경우와 노이즈 있는 경우를 포함한 부드럽고 부드럽지 않은, 노이즈가 있는 경우와 없는 경우에 대해 문제의 성질에 대한 사전 지식 없이 최적 수렴 속도를 적응적으로 달성하는 변분부등식을 위한 유니버설 미러-프록스 기반 알고리즘을 제시한다. 이 방법은 아다그레드에서 영감을 얻은 새로운 적응적 스텝 사이즈 규칙을 사용하여, 각각 부드럽고 부드럽지 않은 경우에 대해 최적의 $O(1/T)$ 및 $O(1/\sqrt{T})$ 수렴 속도를 달성하며, 임의의 노름과 브레그만 발산을 다룰 수 있다.

ABSTRACT

We consider variational inequalities coming from monotone operators, a setting that includes convex minimization and convex-concave saddle-point problems. We assume an access to potentially noisy unbiased values of the monotone operators and assess convergence through a compatible gap function which corresponds to the standard optimality criteria in the aforementioned subcases. We present a universal algorithm for these inequalities based on the Mirror-Prox algorithm. Concretely, our algorithm simultaneously achieves the optimal rates for the smooth/non-smooth, and noisy/noiseless settings. This is done without any prior knowledge of these properties, and in the general set-up of arbitrary norms and compatible Bregman divergences. For convex minimization and convex-concave saddle-point problems, this leads to new adaptive algorithms. Our method relies on a novel yet simple adaptive choice of the step-size, which can be seen as the appropriate extension of AdaGrad to handle constrained problems.

연구 동기 및 목표

• 부드럽고, 부드럽지 않으며, 노이즈가 있는 경우와 없는 경우에 대해 변분부등식의 최적 수렴 속도를 달성하는 단일 알고리즘을 개발하는 것.
• 문제의 부드러움 또는 노이즈 수준에 대한 사전 지식이 필요 없도록 하는 것.
• 브레그만 발산과 미러-프록스를 통해 아다그레드와 같은 적응 최적화 기법을 제약 조건이 있는 문제에 확장하는 것.
• 적응적 성능을 갖는 단일 프레임워크를 통해 볼록 최소화 문제와 볼록-볼록 안장점 문제의 수렴 보장을 통합하는 것.

제안 방법

• 알고리즘은 온라인 학습 원리에서 유도된 적응적 스텝 사이즈 규칙을 갖는 미러-프록스 프레임워크에 기반한다.
• 누적 기울기 노름에 따라 동적으로 조정되는 새로운 적응적 학습률을 사용하며, 아다그레드와 유사하지만 제약 조건이 있는 설정에 적합하게 수정되었다.
• 수렴 기준으로 적합한 갭 함수(DualGap)를 사용하여 변분부등식의 최적성 수준을 측정한다.
• 노이즈 있는 오라클 액세스를 다루기 위해 추정치의 분산을 제한하고 분석에서 마틴게일 차분 수열 기법을 사용한다.
• 알고리즘은 임의의 노름을 사용하며, 투영에 브레그만 발산을 사용하여 기하학적 선택의 유연성을 확보한다.
• 핵심 기술적 구성 요소로는 마틴게일 차분과 수열에 의존하는 랜덤 벡터 간의 내적 기대값을 제한하는 보조정리가 있다.

실험 결과

연구 질문

• RQ1 부드러움에 대한 사전 지식 없이도 단일 알고리즘이 부드럽고 부드럽지 않은 변분부등식 모두에 대해 최적 수렴 속도를 달성할 수 있는가?
• RQ2 노이즈 분산을 알지 못하는 상태에서도 스위치 설정에서 노이즈 수준에 대한 적응성이 달성될 수 있는가?
• RQ3 온라인 학습에서 유도된 적응적 스텝 사이즈는 브레그만 발산을 사용하는 제약 조건이 있는 최적화 문제로 어떻게 확장될 수 있는가?
• RQ4 단일 적응적 프레임워크 아래에서 볼록 최소화 문제와 안장점 문제의 수렴 보장을 통합할 수 있는가?

주요 결과

• 비부드럽고 노이즈가 있는 경우, 알고리즘은 기대 이중 갭을 $O\left(\frac{\alpha GD\sqrt{\log T}}{\sqrt{T}}\right)$ 수준으로 달성하며, 로그 인자 외에는 최적 속도를 달성한다.
• 부드럽고 노이즈가 있는 경우, 기대 이중 갭은 $O\left(\frac{\alpha GD + \alpha^2 LD^2 + LD^2 \log(LD/G_0)}{T} + \frac{\alpha \sigma D \sqrt{1/T}}{\sqrt{T}}\right)$ 이하로 제한되며, 이는 부드러운 문제에 대해 최적의 속도를 달성한다.
• 이 방법은 부드러운 경우에 $O(1/T)$ 수렴을 달성하고, 비부드러운 경우에 $O(1/\sqrt{T})$ 수렴을 달성하며, 각각 로그 인자 외에는 최적이다.
• 적응적 스텝 사이즈 규칙은 지역적 부드러움과 낮은 노이즈를 자동으로 활용할 수 있도록 하여 조정 파rameter가 필요 없도록 한다.
• 분석을 통해 마틴게일 차분과 적응적으로 선택된 랜덤 벡터 간의 내적 기대값에 대한 새로운 경계를 확립하여 엄밀한 수렴 제어를 가능하게 한다.