[논문 리뷰] The Limit Points of (Optimistic) Gradient Descent in Min-Max Optimization

Constantinos Daskalakis, Ioannis Panageas|arXiv (Cornell University)|2018. 07. 11.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 17

한 줄 요약

이 논문은 비볼록-볼록 최소화-최대화 문제에서 경사하강법/상승법(GDA)과 낙관적 경사하강법/상승법(OGDA)의 수렴점(limit points)을 분석하며, 거의 모든 초기화 조건에서 두 방법이 불안정한 임계점들을 피하는 것으로 보여준다. 작은 단계 크기와 온건한 가정 하에서, OGDA 안정점 집합은 GDA 안정점 집합을 엄밀히 포함하고, 이는 국소 최소-최대 해를 포함한다. 이는 OGDA가 더 넓은 범위의 바람직한 평형점으로 수렴함을 시사한다.

ABSTRACT

Motivated by applications in Optimization, Game Theory, and the training of Generative Adversarial Networks, the convergence properties of first order methods in min-max problems have received extensive study. It has been recognized that they may cycle, and there is no good understanding of their limit points when they do not. When they converge, do they converge to local min-max solutions? We characterize the limit points of two basic first order methods, namely Gradient Descent/Ascent (GDA) and Optimistic Gradient Descent Ascent (OGDA). We show that both dynamics avoid unstable critical points for almost all initializations. Moreover, for small step sizes and under mild assumptions, the set of \{OGDA\}-stable critical points is a superset of \{GDA\}-stable critical points, which is a superset of local min-max solutions (strict in some cases). The connecting thread is that the behavior of these dynamics can be studied from a dynamical systems perspective.

연구 동기 및 목표

• 비볼록-볼록 최소-최대 문제에서 GDA와 OGDA 동역학의 수렴점 이해
• 이 동역학의 안정적 수렴점이 국소 최소-최대 해와 일치하는지 확인
• GDA와 OGDA의 안정 집합을 비교하고, 국소 최소-최대 평형점과의 관계 평가
• 최소-최대 최적화에서 수렴 행동에 대한 동역학계 이론적 시각 제공
• OGDA가 GAN 훈련과 같은 실용적 응용에서 GDA를 초월하는 이유에 대한 통찰 제공

제안 방법

• 동역학계 이론 도구를 사용하여 GDA와 OGDA 동역학을 분석하고, 임계점의 안정성에 중점을 둔다.
• GDA를 단위 크기 α로 x에 대해 경사하강, y에 대해 경사상승하는 교차 경사하강으로 정의한다.
• OGDA를 음의 운동량을 가진 두 단계 업데이트로 정의한다: x_{t+1} = x_t - 2α∇ₓf(x_t,y_t) + α∇ₓf(x_{t-1},y_{t-1})
• 선형 안정성 분석을 통해 임계점을 GDA-안정, OGDA-안정, 또는 불안정으로 분류한다.
• 2차원 및 10차원 함수를 활용한 수치 실험으로 이론적 결과의 수렴 확률을 검증한다.
• 임계점 안정성을 분리하고 테스트하기 위해 제어된 국소 행동을 가진 다항식 함수를 구성한다.

실험 결과

연구 질문

• RQ1 GDA와 OGDA가 수렴할 경우, 국소 최소-최대 해로 수렴하는가?
• RQ2 GDA-안정 임계점 집합과 국소 최소-최대 해 집합 간의 관계는 무엇인가?
• RQ3 OGDA-안정 임계점 집합은 GDA-안정 점 집합과 어떻게 비교되는가?
• RQ4 GDA와 OGDA는 거의 모든 초기화 조건에서 불안정한 임계점을 피하는가?
• RQ5 OGDA와 GDA에서 안정 평형점의 안착 영역(empirical size of the region of attraction)의 경험적 크기는 어떻게 다른가?

주요 결과

• 작은 단계 크기와 온건한 가정 하에서, OGDA-안정 임계점 집합은 GDA-안정 임계점 집합을 엄밀히 포함한다.
• 일부 경우에서 GDA-안정 임계점 집합은 국소 최소-최대 해 집합을 엄밀히 포함하며, 이는 GDA가 국소 최소-최대 평형점이 아닌 곳으로 수렴할 수 있음을 시사한다.
• 2차원 예제에서 OGDA는 (0,0)으로 25.8% 확률로 수렴했지만, GDA는 (0,0)으로 전혀 수렴하지 않았다. 비록 (0,0)이 국소 최소-최대가 아니었지만 말이다.
• 10차원 실험에서 OGDA는 원점(국소 최소-최대)으로 87% 확률로 수렴했고, GDA는 79.3%로, 더 넓은 안착 영역을 가짐을 시사한다.
• 10,000개의 랜덤 초기화를 활용한 수치 실험으로 확인된 바, GDA와 OGDA는 거의 모든 초기화 조건에서 불안정한 固定点을 피한다.
• 이론적 및 경험적 결과는 OGDA 동역학이 GDA보다 더 넓은 범위로 안정 평형점으로 수렴함을 보이며, 이는 국소 최소-최대 해가 아닌 평형점일지라도 마찬가지로 성립한다.