[논문 리뷰] The Last-Iterate Convergence Rate of Optimistic Mirror Descent in Stochastic Variational Inequalities

Waïss Azizian, Franck Iutzeler외 2명|arXiv (Cornell University)|2021. 07. 05.

Statistical Mechanics and Entropy인용 수 5

한 줄 요약

이 논문은 스 tochastic variational inequalities (SVI)에서 옴니미스틱 미러 디센트(OMD)의 최초 국소 수렴 속도 분석을 수립하며, Bregman 발산에 의해 유도되는 국소 기하학을 정량화하기 위해 레전드르 지수를 도입한다. 수렴 속도가 이 지수에 의해 결정됨을 보이며, 유클리드, 음의 엔트로피, Tsalis 엔트로피와 같은 다양한 Bregman 함수에 대해 최적의 스텝 사이즈와 수렴 속도를 도출하여, 기하학에 따라 $\mathcal{O}(1/t)$에서 $\mathcal{O}(1/t^{0.1666})$까지의 속도를 달성한다.

ABSTRACT

In this paper, we analyze the local convergence rate of optimistic mirror descent methods in stochastic variational inequalities, a class of optimization problems with important applications to learning theory and machine learning. Our analysis reveals an intricate relation between the algorithm's rate of convergence and the local geometry induced by the method's underlying Bregman function. We quantify this relation by means of the Legendre exponent, a notion that we introduce to measure the growth rate of the Bregman divergence relative to the ambient norm near a solution. We show that this exponent determines both the optimal step-size policy of the algorithm and the optimal rates attained, explaining in this way the differences observed for some popular Bregman functions (Euclidean projection, negative entropy, fractional power, etc.).

연구 동기 및 목표

• 비단조화성 또는 복잡한 기하학으로 인해 기존 수렴 속도가 적용되지 않는 스 tochastic variational inequalities (SVI)에서 옴니미스틱 미러 디센트(OMD)의 국소 수렴 행동을 이해하기 위해.
• 특히 비단조화성 또는 국소적으로 강한 단조성 조건이 성립하는 설정에서 OMD 수렴 속도를 지배하는 핵심 기하학적 요인을 규명하기 위해.
• Bregman 발산의 성장률과 알고리즘 성능 간의 관계를 체계화하여, 레전드르 지수를 통한 새로운 특성화를 이끌어내기 위해.
• 이 지수에 따라 의존하는 최적의 스텝 사이즈 정책과 수렴 속도를 도출하여, 인기 있는 Bregman 함수들 간의 경험적 수렴 차이를 설명하기 위해.
• 다양한 거리 생성 함수(유클리드, 음의 엔트로피, Tsalis)를 사용한 1D SVI에서의 수치 실험을 통해 이론적 예측을 검증하기 위해.

제안 방법

• 해결책 근처에서 Bregman 발산의 국소 성장률을 측정하기 위해 레전드르 지수 $\beta$를 도입하며, 이는 Bregman 구와 유클리드 구의 부피 비율의 로그 비율을 통해 정의된다.
• 스토하스틱 노이즈와 스텝 사이즈 수열을 포함하는 Bregman 발산 $a_t = D(x^*, X_t)$를 포함한 내림내림 부등식을 유도하여, SVI에서 OMD의 마지막 반복자 수렴을 분석한다.
• 수렴 역학을 모델링하기 위해 $a_{t+1} \leq a_t - \frac{q}{(t+t_0)^\eta} a_t^{1+\alpha} + \frac{q'}{(t+t_0)^{2\eta}}$ 형태의 재귀 내림내림 부등식을 사용하며, 여기서 $\alpha = \beta / (1 + \beta)$이다.
• 레미마 A.11과 A.12을 적용하여 $a_t$의 감쇠 속도를 근사화하며, 스텝 사이즈 지수 $\eta$에 따라 경우를 나누어 $T$에 대한 渐近 수렴 속도를 도출한다.
• 내림내림 항과 노이즈 항을 균형 잡는 최적의 스텝 사이즈 정책 $\gamma_t = 1/t^\eta$를 도출하며, 이때 $\eta$는 레전드르 지수 $\beta$에 따라 달라진다.
• 해당 1D SVI에서 $\mathcal{K}=[0,\infty)$, $v(x)=x$이며, 유클리드($\beta=0$), 음의 엔트로피($\beta=0.5$), Tsalis 엔트로피($q=0.5$일 때 $\beta=0.75$, $q=1.5$일 때 $\beta=0.25$)의 세 가지 Bregman 함수를 사용한 수치 실험을 통해 이론적 수렴 속도를 검증한다.

실험 결과

연구 질문

• RQ1 레전드르 지수 $\beta$로 캡처된 Bregman 발산의 국소 기하학은 스 tochastic variational inequalities에서 옴니미스틱 미러 디센트의 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 스토하스틱 추정치를 사용하는 연산자에 대해 내림내림과 노이즈를 균형 잡는 OMD의 최적 스텝 사이즈 정책은 무엇인가?
• RQ3 왜 다양한 Bregman 함수(예: 유클리드, 음의 엔트로피, Tsalis)는 실질적으로 다른 수렴 속도를 보이며, 이는 통합된 기하학적 매개변수로 설명될 수 있는가?
• RQ4 스토하스틱 노이즈와 비단조화성 연산자 조건 하에서도 OMD의 마지막 반복자 수렴 속도는 레전드르 지수로 정확히 특성화될 수 있는가?
• RQ5 이론적 수렴 속도는 다양한 Bregman 함수를 사용한 수치 실험에서 경험적 관측과 어느 정도 일치하는가?

주요 결과

• 레전드르 지수 $\beta$는 Bregman 발산의 국소 성장률을 주변 노름에 대해 정량화하며, 유클리드의 경우 $\beta=0$, 음의 엔트로피의 경우 $\beta=0.5$, Tsalis 엔트로피의 경우 $q=0.5$일 때 $\beta=0.75$, $q=1.5$일 때 $\beta=0.25$이다.
• OMD의 수렴 속도는 $\beta=0$일 때 $\mathcal{O}(1/t)$이며, 이는 표준 결과와 일치하며, $\beta$가 증가함에 따라 악화된다.
• $\beta=0.5$일 때 이론적 수렴 속도는 $\mathcal{O}(1/t^{0.5+\epsilon})$이며, 관측된 속도는 $\mathcal{O}(1/t^{0.48})$로 이론과 일치함을 확인한다.
• $\beta=0.75$일 때 이론적 수렴 속도는 $\mathcal{O}(1/t^{0.1666})$이며, 관측된 속도는 $\mathcal{O}(1/t^{0.13})$로 유도된 경계와 일치함을 보여준다.
• $\beta=0.25$일 때 이론적 수렴 속도는 $\mathcal{O}(1/t^{0.75}}$이며, 관측된 속도는 $\mathcal{O}(1/t^{0.71})$로 이론과 실험 간의 강력한 일치를 나타낸다.
• 최적의 스텝 사이즈 정책은 $\gamma_t = 1/t^\eta$이며, $\eta = \frac{1+\alpha}{1+2\alpha}$로, 여기서 $\alpha = \beta / (1 + \beta)$이며, 이는 주어진 $\beta$에 대해 가능한 최고의 수렴 속도를 보장한다.