[논문 리뷰] Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities

Zhongruo Wang, Krishnakumar Balasubramanian외 2명|arXiv (Cornell University)|2020. 01. 22.

Stochastic Gradient Optimization Techniques참고 문헌 75인용 수 16

한 줄 요약

이 논문은 강한 볼록-비볼록 미니맥스 문제에 대해 개선된 오ракูล 복잡도를 갖는 제로스터드 알고리즘을 제안한다. 결정론적 설정과 그의 확률적 변종인 ZO-GDA 및 ZO-GDMSA를 제안하며, 강력한 성장 조건 하에서 최적의 복잡도를 달성하고, 결정론적 결과와 일치시키며 이전 작업에 비해 수렴 속도와 쿼리 효율성에서 향상된다.

ABSTRACT

In this paper, we study zeroth-order algorithms for minimax optimization problems that are nonconvex in one variable and strongly-concave in the other variable. Such minimax optimization problems have attracted significant attention lately due to their applications in modern machine learning tasks. We first consider a deterministic version of the problem. We design and analyze the Zeroth-Order Gradient Descent Ascent ( exttt{ZO-GDA}) algorithm, and provide improved results compared to existing works, in terms of oracle complexity. We also propose the Zeroth-Order Gradient Descent Multi-Step Ascent ( exttt{ZO-GDMSA}) algorithm that significantly improves the oracle complexity of exttt{ZO-GDA}. We then consider stochastic versions of exttt{ZO-GDA} and exttt{ZO-GDMSA}, to handle stochastic nonconvex minimax problems. For this case, we provide oracle complexity results under two assumptions on the stochastic gradient: (i) the uniformly bounded variance assumption, which is common in traditional stochastic optimization, and (ii) the Strong Growth Condition (SGC), which has been known to be satisfied by modern over-parametrized machine learning models. We establish that under the SGC assumption, the complexities of the stochastic algorithms match that of deterministic algorithms. Numerical experiments are presented to support our theoretical results.

연구 동기 및 목표

• 블랙박스 및 도함수 없음 환경에서 비볼록-볼록 미니맥스 문제에 대한 효율적인 제로스터드 알고리즘이 부족한 문제를 해결하기 위해.
• 결정론적 및 확률적 설정에서 제로스터드 방법의 오라클 복잡도를 향상시키며, 특히 강력한 성장 조건과 같은 현실적인 가정 하에서.
• 함수 평가 외에 도함수 정보를 갖지 못함에도 불구하고, 일阶 방법의 수렴 복잡도를 재현할 수 있는 알고리즘을 설계하기 위해.
• 최소한의 함수 쿼리로 𝜖-정류점 수렴에 대한 이론적 보장을 제공하기 위해.
• 이론적 결과를 수치 실험으로 뒷받침하여 개선된 수렴 속도를 검증하기 위해.

제안 방법

• 비볼록-강한 볼록 문제에 적합한 제로스터드 경사하강상승 알고리즘인 ZO-GDA를 제안하며, 유한차분을 통한 경사 추정을 사용한다.
• 다중단계 상승 기반의 변종인 ZO-GDMSA를 도입하여, 경사 추정 오차에 대한 의존도를 줄임으로써 오라클 복잡도를 향상시킨다.
• 함수 값에서 경사를 근사하기 위해 매개수 𝜇를 사용하는 스무딩 기법을 적용하여 도함수 없이 최적화를 가능하게 한다.
• 균일한 분산과 강력한 성장 조건(SGC)이라는 두 가지 가정 하에서의 확률적 변종을 분석한다.
• 내부 최대화의 부적합도를 제어하기 위해 y-업데이트에서 수축을 통한 재귀적 오차 경계를 사용한다.
• 외부 목표 함수의 기대값 노름을 제한함으로써 수렴 속도를 유도하며, 𝜖-정류점 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 제로스터드 알고리즘이 비볼록-강한 볼록 미니맥스 문제에 대해 최적의 오라클 복잡도를 달성할 수 있는가?
• RQ2 강력한 성장 조건은 확률적 제로스터드 방법의 수렴 복잡도에 어떤 영향을 미치는가?
• RQ3 다중단계 상승은 제로스터드 미니맥스 최적화에서 표준 ZO-GDA를 초월해 오라클 복잡도를 향상시킬 수 있는가?
• RQ4 제로스터드 경사 추정에서 스무딩 매개수 𝜇와 수렴 속도 사이의 상충 관계는 무엇인가?
• RQ5 수치 결과가 이론적 복잡도 한계를 어느 정도 검증하는가?

주요 결과

• ZO-GDMSA 알고리즘은 다중단계 상승을 통해 경사 추정 오차에 대한 의존도를 줄임으로써 ZO-GDA에 비해 향상된 오라클 복잡도를 달성한다.
• 강력한 성장 조건 하에서, ZO-GDA 및 ZO-GDMSA의 확률적 변종은 결정론적 동반자들과 동일한 오라클 복잡도를 달성한다.
• 알고리즘 프레임워크는 결정론적 설정에서 O(𝜖⁻⁴) 오라클 복잡도로 𝜖-정류점 수렴을 보장하며, 기존 일阶 방법의 결과와 일치한다.
• 스무딩 매개수 𝜇는 근사 오차와 경사 추정 분산을 균형 잡기 위해 O(min(1, 𝜌)𝑑₁⁻³ᐟ²)로 선택된다.
• 수치 실험은 이론적 개선을 확인하며, 기준 제로스터드 방법 대비 더 빠른 수렴 속도와 낮은 함수 쿼리 수를 보여준다.
• 분석을 통해 외부 목표 함수의 기대값 경사 노름이 O(𝜖²)로 수렴하며, 이는 O(𝜖⁻⁴) 쿼리로 𝜖-정류점 수렴을 보장함을 입증한다.