[논문 리뷰] On Solving Minimax Optimization Locally: A Follow-the-Ridge Approach

Yuanhao Wang, Guodong Zhang외 1명|arXiv (Cornell University)|2019. 10. 16.

Stochastic Gradient Optimization Techniques참고 문헌 48인용 수 18

한 줄 요약

이 논문은 최소최대 최적화 문제에서 리더의 기울기 갱신을 보정하여 반응 릿지에서의 드리프트를 방지함으로써 국소 최소최대 균형에 증명 가능하게 수렴하는 새로운 알고리즘인 Follow-the-Ridge (FR)를 제안한다. 이 방법은 기울기 흐름에서의 회전 운동을 제거하고, 더 큰 학습률을 허용하며, 전치화 및 양의 동량과 호환되어 GDA 및 최근의 기준 대비 GAN 훈련과 토이 최소최대 문제의 수렴성을 크게 향상시킨다.

ABSTRACT

Many tasks in modern machine learning can be formulated as finding equilibria in \emph{sequential} games. In particular, two-player zero-sum sequential games, also known as minimax optimization, have received growing interest. It is tempting to apply gradient descent to solve minimax optimization given its popularity and success in supervised learning. However, it has been noted that naive application of gradient descent fails to find some local minimax and can converge to non-local-minimax points. In this paper, we propose \emph{Follow-the-Ridge} (FR), a novel algorithm that provably converges to and only converges to local minimax. We show theoretically that the algorithm addresses the notorious rotational behaviour of gradient dynamics, and is compatible with preconditioning and \emph{positive} momentum. Empirically, FR solves toy minimax problems and improves the convergence of GAN training compared to the recent minimax optimization algorithms.

연구 동기 및 목표

• 최소최대 최적화 문제에서 경사하강법-상승법(GDA)이 국소 최소최대 점으로 수렴하지 못하는 문제를 해결하기 위해.
• 고정점 주변에서 기울기 동역학의 지속적인 회전적 행동이 학습률과 수렴성에 제한을 미치는 원인를 해결하기 위해.
• 전치화 및 동량과 같은 표준 최적화 기법을 적용하더라도 국소 최소최대 점으로만 증명 가능하게 수렴하는 알고리즘을 설계하기 위해.
• 일반합 Stackelberg 게임으로 이론적 보장을 확장하고, GAN과 합성 최소최대 문제에서의 성능을 검증하기 위해.

제안 방법

• FR는 리더의 기울기 스텝이 유도하는 불안정 효과를 상쇄하기 위해 팔로워의 갱신에 보정 항을 도입하여, 병합된 갱신 방향이 손실 곡면의 릿지와 일치하도록 한다.
• 보정 항은 팔로워의 반응 다각형의 곡률을 타깃으로 하는 손실 함수의 헤시안에서 유도된다.
• 알고리즘은 리더-팔로워 갱신이 릿지에 탄젠트를 유지하도록 보장하여 드리프트를 방지하고, 회전 동역학을 감소시킨다.
• FR는 전치화 및 양의 동량과 호환되어 빠른 수렴을 가능하게 하면서도 국소 수렴 보장을 유지한다.
• 표준 미분 가능성 및 역행성 가정 하에 이론적으로 FR이 국소 최소최대 점으로만 수렴함을 증명하였다.
• 유사한 수렴 성질을 유지하면서 일반합 Stackelberg 게임으로 이 알고리즘의 접근을 확장하였다.

실험 결과

연구 질문

• RQ1 국소 최소최대 점으로만 증명 가능하게 수렴하는 최소최대 최적화 알고리즘을 설계할 수 있는가, 비최소최대 고정점은 피할 수 있는가?
• RQ2 GDA 동안 기울기 동역학에서 발생하는 회전 불안정성의 원인은 무엇이며, 이를 분석적으로 수정할 수 있는가?
• RQ3 FR의 보정 항은 헤시안의 구조에서 유도될 수 있는가, 이를 통해 반응 릿지와의 일치를 보장할 수 있는가?
• RQ4 FR는 전치화 및 양의 동량과 결합되어도 수렴 보장을 유지하는가?
• RQ5 FR은 GAN 훈련과 토이 최소최대 문제 해결에서 GDA 및 다른 최근 최소최대 알고리즘보다 우수한 성능을 보일 수 있는가?

주요 결과

• FR는 GDA와 달리 비최소최대 고정점으로 수렴하지 않으며, 국소 최소최대 점으로만 증명 가능하게 수렴한다.
• 알고리즘은 기울기 흐름에서의 회전 운동을 제거하여 GDA보다 훨씬 큰 학습률을 허용한다.
• 전치화를 적용한 FR는 50,000회 반복 내에 수렴하는 반면, 기존 FR는 500,000회 반복이 필요하여 전치화의 효과를 입증한다.
• 양의 동량은 혼합 가우시안 벤치마크에서 FR 수렴 속도를 약 3배로 가속화하며, γ=0.9일 때 10,000회 반복 내에 수렴을 달성한다.
• FR는 GAN 훈련의 수렴성을 향상시키고 모드 붕괴를 감소시키며, 낮은 기울기 노름과 더 나은 품질의 생성 샘플을 통해 이를 입증한다.
• 스펙트럼 분석을 통해 헤시안의 슈어 여부가 음이 아닌 준정부성이며, 디스crimิน레이터 헤시안은 음이 아닌 준정부성임을 확인하여 이론적 가정을 검증한다.