[논문 리뷰] Solving a Class of Non-Convex Min-Max Games Using Iterative First Order Methods

Maher Nouiehed, Maziar Sanjabi외 3명|arXiv (Cornell University)|2019. 02. 21.

Stochastic Gradient Optimization Techniques참고 문헌 43인용 수 37

한 줄 요약

본 논문은 비볼록 최소-최대 게임에서 ε-일차 Nash 균형을 찾기 위한 다단계 경사 하강-상향 알고리즘을 제시하고, PL 조건에서 ε^{-2}의 최적 수렴률과 비볼록-언덕(또는 비볼록-오목) 사례의 ε^{-3.5} 수렴률을 보이며, Fashion-MNIST에 대한 실증 검증을 수행한다.

ABSTRACT

Recent applications that arise in machine learning have surged significant interest in solving min-max saddle point games. This problem has been extensively studied in the convex-concave regime for which a global equilibrium solution can be computed efficiently. In this paper, we study the problem in the non-convex regime and show that an \varepsilon--first order stationary point of the game can be computed when one of the player's objective can be optimized to global optimality efficiently. In particular, we first consider the case where the objective of one of the players satisfies the Polyak-Łojasiewicz (PL) condition. For such a game, we show that a simple multi-step gradient descent-ascent algorithm finds an \varepsilon--first order stationary point of the problem in \widetilde{\mathcal{O}}(\varepsilon^{-2}) iterations. Then we show that our framework can also be applied to the case where the objective of the "max-player" is concave. In this case, we propose a multi-step gradient descent-ascent algorithm that finds an \varepsilon--first order stationary point of the game in \widetilde{\cal O}(\varepsilon^{-3.5}) iterations, which is the best known rate in the literature. We applied our algorithm to a fair classification problem of Fashion-MNIST dataset and observed that the proposed algorithm results in smoother training and better generalization.

연구 동기 및 목표

• ML에서 마주치는 비볼록 regime에서의 최소-최대 솔버를 해결하는 동기를 제시한다(예: GAN, robust/adversarial 학습).
• 일반적인 Nash 균형이 존재하지 않을 수 있는 상황에서 다루기 쉬운 목표로서의 첫 차·1차 Nash 균형(FNE)을 정의하고 이를 타깃으로 삼는다.
• PL 및 비볼록-오목 설정에서 ε-FNE로의 수렴 보장을 갖는 알고리즘을 개발한다.
• 제안된 프레임워크를 통해 공정 분류 과제에서 더 부드러운 학습과 일반화 향상을 보여주는 실증 검증을 제공한다.

제안 방법

• 문제를 두 명의 제로섬(min-max) 게임으로 형식화하고 ε-FNE를 1차 조건(정의 2.1 및 2.3)으로 정의한다.
• 스무스성(리프시츠 연속성)을 가정하고 한 편의 목적에서 PL-조건을, 다른 편에서 오목성을 고려하는 두 가지 설정을 고려한다.
• PL-게임의 경우, 내부 최대화 단계를 외부 하강과 교대하는 다단계 GDA(Gradient Descent-Ascent)를 제안하고, Danskin류의 그라디언트 평가에 기초한다(보조정리 A.5).
• 가정 2.5 및 3.3하에서 알고리즘이 ε-FNE를 O(ε^{-2}) 반복에서 달성하고 대응하는 그래디언트 평가를 수행함을 증명한다(정리 3.4 및 보정정리 3.5).
• 비-볼록-오목 게임의 경우 내부 최대화를 정규화하고 두 단계 프레임워크(알고리즘 2)를 도입하여 α에 대해서 Accelerated Projected Gradient Ascent를, θ에 대해 Frank-Wolfe/PGD를 사용하여 ε-FNE를 Õ(ε^{-3.5}) 평가에서 얻는다(정리 4.2, 보정정리 4.3).

실험 결과

연구 질문

• RQ1 일반적인 비볼록 비오목(min-max) 게임에서 ε-일차 Nash 균형을 효율적으로 계산할 수 있는가?
• RQ2 PL 조건하 및 비볼록-오목 가정하에서 ε-FNE를 얻기 위한 반복/계산 복잡도는 어떻게 되는가?
• RQ3 Iterative 1차 방법이 공정 분류나 강건 학습과 같은 ML 작업에서 실용적 이점(안정성, 일반화)을 제공하는가?
• RQ4 내부 문제의 정규화가 비볼록-오목 최소-최대 문제의 수렴 보장 및 실험적 성능에 어떤 영향을 주는가?

주요 결과

• PL-게임에서 다단계 GDA 알고리즘은 θ에서 O(ε^{-2}) 그래디언트 평가와 α에서 O(ε^{-2} log(ε^{-1}))의 평가를 달성한다(대수 로그 인자를 제외하면).
• 비볼록-오목 게임에서 두 단계 프레임워크는 ε-FNE를 총 그래디언트 평가로 Õ(ε^{-3.5}) 달성하며, 내부/외부 단계 포함 시 전체 Õ(ε^{-3.5})에 해당한다.
• 내부 최적화가 고유성의 부재에도 불구하고 가치 함수의 그라디언트를 통해 미분 가능하다고 보일 수 있다(보조정리 A.5 및 관련 결과).
• 제안된 프레임워크를 사용한 Fashion-MNIST의 공정 분류 과제에서 학습이 더 부드럽고 일반화가 향상되었음을 실증적으로 확인한다.
• 비볼록-오목 설정에서의 정규화된 내부 최대화는 수렴 촉진 및 확률적 학습에서의 최악-케이스 성능 개선에 도움을 준다(실험에서 시연).