[논문 리뷰] Explore Aggressively, Update Conservatively: Stochastic Extragradient Methods with Variable Stepsize Scaling

Yu-Guan Hsieh, Franck Iutzeler외 2명|arXiv (Cornell University)|2020. 03. 23.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 16

한 줄 요약

이 논문은 탐색 단계에서 업데이트 단계보다 더 공격적인 스텝사이즈를 사용하는 더블 스텝사이즈 스토하스틱 에그스트라그레디언트 방법을 제안한다. 이는 오차 유계 조건 하에서 거의 확실 수렴성과 $Ó(1/t)$ 최종 반복자 수렴 속도를 보장한다. 이는 이중성 게임에서 표준 스토하스틱 에그스트라그레디언트의 수렴 실패 문제를 해결하며, 단조성 및 이중성 문제에서 스토하스틱 EG에 대한 최초의 최종 반복자 수렴 속도 분석을 제공한다.

ABSTRACT

Owing to their stability and convergence speed, extragradient methods have become a staple for solving large-scale saddle-point problems in machine learning. The basic premise of these algorithms is the use of an extrapolation step before performing an update; thanks to this exploration step, extra-gradient methods overcome many of the non-convergence issues that plague gradient descent/ascent schemes. On the other hand, as we show in this paper, running vanilla extragradient with stochastic gradients may jeopardize its convergence, even in simple bilinear models. To overcome this failure, we investigate a double stepsize extragradient algorithm where the exploration step evolves at a more aggressive time-scale compared to the update step. We show that this modification allows the method to converge even with stochastic gradients, and we derive sharp convergence rates under an error bound condition.

연구 동기 및 목표

• 정규화된 경우에 수렴하는 반면, 스토하스틱 환경에서는 수렴하지 못하는 표준 스토하스틱 에그스트라그레디언트(EG) 방법의 실패 원인을 해결한다.
• 탐색과 업데이트 단계 간의 스텝사이즈 역학을 재고함으로써 스토하스틱 환경에서의 수렴하지 않는 문제를 해결한다.
• 이전 연구보다 더 약한 가정 하에서도 비단조성 및 비볼록 설정에서 스토하스틱 EG의 최종 반복자 수렴 보장을 확립한다.
• 오차 유계 조건 하에서 뚜렷한 수렴 속도를 도출하며, 이는 스토하스틱 EG 문헌에서 새로움을 제공한다.
• 지역 수렴 분석을 통해 순수 허수 고유값을 가진 불안정한 자코비안에 대해서도 고확률 수렴을 보장한다.

제안 방법

• 탐색(예측) 단계 스텝사이즈 $\gamma_t$ 가 업데이트 단계 스텝사이즈 $\eta_t$ 보다 더 느리게 감쇠하도록 더블 스텝사이즈 기법을 도입함으로써, 보수적인 업데이트에 비해 공격적인 탐색을 가능하게 한다.
• 두 단계 업데이트를 적용: 먼저 $\gamma_t$-스케일드 기울기를 사용해 예측 점을 계산하고, 그 다음 예측 점에서 $\eta_t$-스케일드 기울기를 사용해 반복을 업데이트한다.
• 지역 오차 유계 조건을 적용하여 해와의 거리를 통제함으로써, 자코비안이 순수 허수 고유값을 가질 경우에도 수렴을 보장한다.
• 이벤트 집합 $E_t^{\rho}$ 를 사용한 고확률 분석 프레임워크를 도입하여 해 경로에서의 이탈 가능성을 통제한다.
• 기대 제곱 거리에 대한 재귀 부등식을 유도하며, 오차 유계 조건과 스텝사이즈 스케일링을 활용해 $\mathcal{O}(1/t^{1/3})$ 수렴 속도를 확립한다.
• 조건부 기대를 활용한 리아푸노프 함수 접근법을 사용하여 기대 오차를 바ounds하며, 스토하스틱 기울기 노이즈와 스텝사이즈 감쇠를 모두 통합한다.

실험 결과

연구 질문

• RQ1 왜 표준 스토하스틱 에그스트라그레디언트가 간단한 이중성 사鞍점 문제에서도 수렴하지 못하는가?
• RQ2 변동 스텝사이즈 스케일링을 갖춘 수정된 에그스트라그레디언트 방법이 스토하스틱 환경에서 최종 반복자 수렴을 복원할 수 있는가?
• RQ3 오차 유계 조건 하에서 스토하스틱 에그스트라그레디언트 방법에서 달성할 수 있는 수렴 속도는 무엇인가?
• RQ4 해의 자코비안이 순수 허수 고유값을 가질 경우, 즉 잠재적인 불안정성을 나타낼 경우 방법은 어떻게 행동하는가?
• RQ5 스토하스틱 기울기 하에서 이중성 문제에서 $\mathcal{O}(1/t)$ 수렴 속도를 달성할 수 있는가? 이는 결정론적 성능을 따라잡는다.

주요 결과

• 더블 스텝사이즈 에그스트라그레디언트(DSEG) 방법은 모든 단조성 사鞍점 문제를 포함한 광범위한 문제 클래스에서 해로 거의 확실하게 수렴한다.
• 이중성 최소최대 문제에서 DSEG 방법은 $\mathcal{O}(1/t)$ 최종 반복자 수렴 속도를 달성하며, 이는 스토하스틱 환경에서 최초의 결과이다.
• 오차 유계 조건 하에서, 비단조성 문제에서도 최종 반복자에 대해 $\mathcal{O}(1/t^{1/3})$ 수렴 속도를 달성한다.
• 해의 자코비안이 순수 허수 고유값을 가질 경우에도, 고확률 수렴을 보장한다.
• 조건 $\gamma_t \eta_t \tau^2 (1 - \gamma_t \beta) > 1/6$ 가 충족되면 $\mathcal{O}(1/t^{1/3})$ 수렴 속도가 보장되며, 여기서 $\tau$ 는 오차 유계 상수이다.
• 결과는 스토하스틱 기울기에 대해 강건하며, 이전 방법들과 달리 배치 크기를 증가시키거나 반복 샘플링이 필요하지 않다.