[논문 리뷰] Stochastic Hamiltonian Gradient Methods for Smooth Games

Nicolas Loizou, Hugo Berard외 4명|arXiv (Cornell University)|2020. 07. 08.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

이 논문은 스위치드 힘학적 경사하강법(SHGD)을 도입하며, 스위치드 매끄러운 게임에 대해 새로운 비편향 추정기법을 제안하여, 강한 단조성 조건 없이 비제약 이차형 및 '적절히 이차형' 게임에 대해 처음으로 전역적인 비점근적 마지막 시행 수렴 보장을 제공한다. 또한 L-SVRHG를 제안하며, 이는 첫 번째 스위치드 분산 감소 힘학적 방법으로, 온건한 조건 하에서 선형 수렴을 달성한다.

ABSTRACT

The success of adversarial formulations in machine learning has brought renewed motivation for smooth games. In this work, we focus on the class of stochastic Hamiltonian methods and provide the first convergence guarantees for certain classes of stochastic smooth games. We propose a novel unbiased estimator for the stochastic Hamiltonian gradient descent (SHGD) and highlight its benefits. Using tools from the optimization literature we show that SHGD converges linearly to the neighbourhood of a stationary point. To guarantee convergence to the exact solution, we analyze SHGD with a decreasing step-size and we also present the first stochastic variance reduced Hamiltonian method. Our results provide the first global non-asymptotic last-iterate convergence guarantees for the class of stochastic unconstrained bilinear games and for the more general class of stochastic games that satisfy a "sufficiently bilinear" condition, notably including some non-convex non-concave problems. We supplement our analysis with experiments on stochastic bilinear and sufficiently bilinear games, where our theory is shown to be tight, and on simple adversarial machine learning formulations.

연구 동기 및 목표

• 강한 단조성 조건 없이도 스위치드 힘학적 방법의 수렴 보장이 부족한 문제를 해결한다.
• SHGD와 L-SVRHG의 이론적 수렴 분석을 스위치드 환경에서 수행하며, 마지막 시행 수렴에 중점을 둔다.
• 기존 SHGD 변형에서 편향 추정기법의 한계를 극복하기 위해 힘학적 함수의 비편향 경사 추정기법을 도입한다.
• ‘적절히 이차형’ 조건을 통해 비콤팩트 영역과 비볼록 비볼록 문제에 대한 수렴 이론을 확장한다.
• 이차형, 적절히 이차형, 그리고 적대적 학습 게임에서의 실험을 통해 이론의 날카로움을 입증한다.

제안 방법

• 스위치드 힘학적 경사에 대한 새로운 비편향 추정기법을 제안하여 엄밀한 수렴 분석을 가능하게 한다.
• 표준 최적화 도구(예: 리아푸노프 함수)를 적용하여, 일정 단계 크기로 SHGD가 정적점의 이웃으로 선형 수렴함을 증명한다.
• 감소하는 단계 크기 스케줄을 도입하여 정확한 정적점으로의 하위선형 수렴을 달성한다.
• 제어 변수 기법을 사용하여 경사 분산을 감소시키는 첫 번째 스위치드 분산 감소 힘학적 방법인 L-SVRHG를 설계한다.
• 스위치드 게임을 유한합 문제로 공식화한다: $ g(x_1,x_2) = \frac{1}{n}\sum_{i=1}^n g_i(x_1,x_2) $, 여기서 각 $ g_i $ 는 매끄럽다.
• ‘적절히 이차형’ 조건 하에서 수렴을 분석하며, 이는 이차형 게임을 일반화하고 일부 비단조성 문제를 포함한다.

실험 결과

연구 질문

• RQ1 강한 단조성 가정 없이도 스위치드 힘학적 경사하강법이 마지막 시행 수렴을 달성할 수 있는가?
• RQ2 스위치드 매끄러운 게임에서 일정 단계 크기와 감소하는 단계 크기로 SHGD의 수렴 속도는 어떻게 되는가?
• RQ3 스위치드 게임에서 힘학적 방법에 대해 분산 감소를 효과적으로 적용할 수 있는가?
• RQ4 제안된 비편향 추정기법은 편향 변형 대비 수렴 보장에 어떻게 향상되는가?
• RQ5 이론이 실질적으로 타당한가, 특히 적대적 학습과 이차형 게임에서의 적용에 대해 어떻게 되는가?

주요 결과

• SHGD는 일정 단계 크기로 ‘적절히 이차형’ 조건 하에서 정적점의 이웃으로 선형 수렴한다.
• 감소하는 단계 크기로 SHGD는 정확한 정적점으로 하위선형 수렴을 달성하여 전역 수렴을 보장한다.
• L-SVRHG는 표준 SVRG보다 낮은 반복 비용으로 선형 수렴을 달성하며, 반복당 $ 4 + p \cdot 2n $ 개의 경사 계산이 필요하다.
• 실험 결과 이론적 수렴 속도가 날카로운 것으로 나타났으며, 이는 이차형 및 적절히 이차형 게임에서 L-SVRHG가 가장 빠른 방법임을 보여준다.
• 인터폴레이션 설정(즉, $ \xi_i(x^*) = 0 $)에서는 모든 방법이 선형 수렴하며, 놀랍게도 편향된 SHGD가 신호 일관성 덕분에 다른 방법들을 능가한다.
• 제안된 비편향 추정기법은 이전의 편향 변형이 마지막 시행 수렴 보장을 확보하지 못하는 영역에서도 수렴 보장을 가능하게 한다.