[논문 리뷰] Solving Non-Convex Non-Concave Min-Max Games Under Polyak-Łojasiewicz Condition

Maziar Sanjabi, Meisam Razaviyayn외 1명|arXiv (Cornell University)|2018. 12. 07.

Stochastic Gradient Optimization Techniques참고 문헌 6인용 수 20

한 줄 요약

이 논문은 한 명의 플레이어의 목적이 폴랴크-로자예프스키 조건(PL 조건)을 만족하는 비볼록 비볼록 최소화-최대화 게임을 해결하기 위해 다단계 경사 하강-상승 알고리즘을 제안한다. 알고리즘이 $\varepsilon$-정류점에 도달하는 데 $\widetilde{\mathcal{O}}(\varepsilon^{-2})$ 반복이 소요됨을 입증하였으며, 이는 로그 인자 외에 알려진 하한값과 일치한다.

ABSTRACT

In this short note, we consider the problem of solving a min-max zero-sum game. This problem has been extensively studied in the convex-concave regime where the global solution can be computed efficiently. Recently, there have also been developments for finding the first order stationary points of the game when one of the player's objective is concave or (weakly) concave. This work focuses on the non-convex non-concave regime where the objective of one of the players satisfies Polyak-Łojasiewicz (PL) Condition. For such a game, we show that a simple multi-step gradient descent-ascent algorithm finds an $\varepsilon$--first order stationary point of the problem in $\widetilde{\mathcal{O}}(\varepsilon^{-2})$ iterations.

연구 동기 및 목표

• 기본적인 볼록-볼록 조건이 성립하지 않는 비볼록 비볼록 최소화-최대화 게임에서 1차 정류점 찾기의 과제를 다루는 것.
• 한 플레이어의 목적이 폴랴크-로자예프스키(PL) 조건을 만족함으로써 볼록-볼록 영역을 넘어서 수렴 보장을 확장하는 것.
• 비볼록 최적화의 이론적 하한값에 가까운 반복 복잡도를 갖는 효율적인 알고리즘을 개발하는 것.
• PL 조건 하에서 다단계 경사 하강-상승 방법의 수렴 분석을 제공하여 근사 정류성 보장

제안 방법

• 최소화자 $\theta$를 갱신하는 외부 루프와 최대화자 $\alpha$를 구하는 내부 루프를 번갈아 실행하는 다단계 경사 하강-상승 알고리즘을 제안.
• 함수 $g(\theta) = \max_\alpha f(\theta,\alpha)$의 은닉 함수의 기울기를, 근사 최대화자에서 $f$의 기울기로 근사하기 위해 다스킨 유형의 추론을 사용.
• 내부 상승 단계에는 고정된 스텝 사이즈 $\eta_1 = 1/L_{22}$ 를 사용하고, 외부 하강 단계에는 $\eta_2 = 1/L$ 를 사용하며, 여기서 $L = L_{11} + L_{12}^2/\mu$ 이다.
• 내부 루프의 정지 기준을 PL 조건에 기반하여 설정하여 $\|\nabla_\alpha f(\theta_t, \alpha_K)\| \leq \varepsilon$ 및 $\|\nabla_\theta f(\theta_t, \alpha_K) - \nabla g(\theta_t)\| \leq \varepsilon/4$ 를 보장.
• 리아푸노프 함수 분석을 통해 반복이 $T = \mathcal{O}(\varepsilon^{-2})$ 개의 외부 반복 후 $\varepsilon$-정류점으로 수렴함을 보여주며 수렴을 분석.
• 복잡도 상한을 $\widetilde{\mathcal{O}}(\varepsilon^{-2})$ 로 유도하여, 비볼록 최적화의 알려진 하한값과 로그 인자 외에는 일치함을 보임.

실험 결과

연구 질문

• RQ1 비볼록 비볼록 최소화-최대화 게임에서 $\varepsilon$-정류점에 도달하는 데 near-optimal 반복 복잡도를 달성할 수 있는가?
• RQ2 내부 최대화 목적이 볼록성이 없더라도 폴랴크-로자예프스키(PL) 조건을 만족하면 효율적인 수렴이 가능한가?
• RQ3 간단한 다단계 경사 하강-상승 알고리즘이 비볼록 문제의 이론적 하한값인 $\mathcal{O}(\varepsilon^{-2})$ 와 일치하는가?
• RQ4 내부 루프의 정확도는 외부 하강 과정의 전체 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 알고리즘이 $\widetilde{\mathcal{O}}(\varepsilon^{-2})$ 반복 내에 $\varepsilon$-정류점에 도달하며, 이는 비볼록 최적화의 알려진 하한값과 로그 인자 외에는 일치한다.
• 함수 $g(\theta)$의 기울기 근사를 위해 내부 루프는 $K = \mathcal{O}(\log(1/\varepsilon))$ 단계가 필요하다.
• 외부 루프는 $T = \mathcal{O}(\varepsilon^{-2})$ 반복이 필요하며, 스텝 사이즈 $\eta_2 = 1/L$ (여기서 $L = L_{11} + L_{12}^2/\mu$) 를 사용하여 $\varepsilon$-정류성에 도달한다.
• 내부 루프가 $K \geq N_1(\varepsilon) = \frac{2\log(1/\varepsilon) + \log(16\bar{L}^2\Delta/\mu)}{\log(1/\rho)}$ 를 만족할 경우 기울기 근사 오차가 $\varepsilon/4$ 이하로 제한된다.
• 두 기울기의 계산 비용이 유사할 경우 총 복잡도는 $\mathcal{O}(\varepsilon^{-2}\log(1/\varepsilon))$ 가 되며, 이는 이론적 하한값보다 로그 인자 외에 뿐이다.
• 이전의 $\alpha$에 대해 강하게 볼록인 $f$에 대한 결과를 더 일반적인 PL 조건으로 확장하였으며, 이 조건은 일부 비볼록 함수에도 성립한다.