[논문 리뷰] Accelerated Zeroth-Order and First-Order Momentum Methods from Mini to Minimax Optimization

Feihu Huang, Shangqian Gao외 2명|arXiv (Cornell University)|2020. 08. 18.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 23

한 줄 요약

이 논문은 비볼록 미니최적화 및 미니맥스최적화를 위한 가속화된 제로차수 및 일阶 모멘타움 방법을 제안하며, 모멘타움 기반 분산 감소와 균일 스무딩을 활용하여 더 나은 쿼리 및 기울기 복잡도를 달성한다. 제로차수 방법의 경우 쿼리 복잡도를 $\tilde{O}(d^{3/4}\epsilon^{-3})$로 보장하고, 일阶 방법의 경우 $\tilde{O}(\kappa_y^{4.5}\epsilon^{-3})$로 보장하며, 이는 이전 연구 대비 각각 $O(d^{1/4})$ 및 $O\left(\kappa_y^{1/2}\right)$의 요소로 향상되었고, 대용량 배치를 요구하지 않는다.

ABSTRACT

In the paper, we propose a class of accelerated zeroth-order and first-order momentum methods for both nonconvex mini-optimization and minimax-optimization. Specifically, we propose a new accelerated zeroth-order momentum (Acc-ZOM) method for black-box mini-optimization where only function values can be obtained. Moreover, we prove that our Acc-ZOM method achieves a lower query complexity of $ ilde{O}(d^{3/4}ε^{-3})$ for finding an $ε$-stationary point, which improves the best known result by a factor of $O(d^{1/4})$ where $d$ denotes the variable dimension. In particular, our Acc-ZOM does not need large batches required in the existing zeroth-order stochastic algorithms. Meanwhile, we propose an accelerated zeroth-order momentum descent ascent (Acc-ZOMDA) method for black-box minimax optimization, where only function values can be obtained. Our Acc-ZOMDA obtains a low query complexity of $ ilde{O}((d_1+d_2)^{3/4}κ_y^{4.5}ε^{-3})$ without requiring large batches for finding an $ε$-stationary point, where $d_1$ and $d_2$ denote variable dimensions and $κ_y$ is condition number. Moreover, we propose an accelerated first-order momentum descent ascent (Acc-MDA) method for minimax optimization, whose explicit gradients are accessible. Our Acc-MDA achieves a low gradient complexity of $ ilde{O}(κ_y^{4.5}ε^{-3})$ without requiring large batches for finding an $ε$-stationary point. In particular, our Acc-MDA can obtain a lower gradient complexity of $ ilde{O}(κ_y^{2.5}ε^{-3})$ with a batch size $O(κ_y^4)$, which improves the best known result by a factor of $O(κ_y^{1/2})$. Extensive experimental results on black-box adversarial attack to deep neural networks and poisoning attack to logistic regression demonstrate efficiency of our algorithms.

연구 동기 및 목표

• 기울기가 이용 가능하지 않을 때 블랙박스 비볼록 최적화에서 기존 제로차수 방법의 높은 쿼리 복잡도 문제를 해결하기 위해.
• 오직 함수 값만 접근 가능한 블랙박스 환경에서의 미니맥스 최적화를 위한 효율적인 알고리즘을 개발하기 위해.
• 대용량 미니배치가 필요 없도록 하여 분산 감소 제로차수 방법의 계산 부담을 줄이기 위해.
• 제로차수 및 일阶 설정 모두에서 쿼리 및 기울기 복잡도 측면에서 향상된 수렴 속도를 달성하기 위해.
• 이전 방법들보다 더 약한 가정(예: 구성 요소 함수의 스무딩)을 요구하면서도 낮은 복잡도를 유지하는 이론적 보장을 제공하기 위해.

제안 방법

• STORM/Hybrid-SGD에서 영감을 얻은 균일 스무딩과 모멘타움 기반 분산 감소를 사용하는 가속화된 제로차수 모멘타움(Acc-ZOM) 방법을 제안한다.
• 대용량 배치가 필요 없이 기능 값 쿼리의 분산을 줄이기 위해 모멘타움 기반의 재귀적 기울기 추정기를 통합한다.
• 유사한 스무딩 및 모멘타움 기법을 사용하여 미니맥스 문제를 위한 가속화된 제로차수 모멘타움 강하-상승(Acc-ZOMDA) 방법을 개발한다.
• 명시적인 기울기를 사용하는 가속화된 일阶 모멘타움 강하-상승(Acc-MDA) 방법을 제안하여, 미니맥스 최적화에서 낮은 기울기 복잡도를 달성한다.
• 함수 값 쿼리와 모멘타움 업데이트를 조합하는 하이브리드 전략을 활용하여 수렴 안정성 향상과 쿼리 효율성 향상을 도모한다.
• 스무딩과 조건수 가정을 기반으로 이론적 경계를 유도하며, 차원과 조건수 $\kappa_y$에 대한 명시적 의존성을 포함한다.

실험 결과

연구 질문

• RQ1 모멘타움 기반 분산 감소 기법을 제로차수 최적화에 효과적으로 적용하여 대용량 배치 없이도 쿼리 복잡도를 감소시킬 수 있는가?
• RQ2 비볼록 블랙박스 최적화에서 $\epsilon$-정류점(\epsilon$-stationary point)을 찾는 데 있어 가속화된 제로차수 방법이 달성할 수 있는 최적의 쿼리 복잡도는 무엇인가?
• RQ3 제안된 Acc-ZOMDA 방법은 기존의 제로차수 미니맥스 솔버와 비교해 쿼리 복잡도와 실용적 효율성 측면에서 어떻게 다른가?
• RQ4 일阶 모멘타움 방법은 이전의 분산 감소 접근 방식에 비해 미니맥스 최적화에서 더 낮은 기울기 복잡도를 달성할 수 있는가?
• RQ5 조건수 $\kappa_y$는 제로차수 및 일阶 미니맥스 알고리즘의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• Acc-ZOM 방법은 $\epsilon$-정류점을 찾는 데 $\tilde{O}(d^{3/4}\epsilon^{-3})$의 쿼리 복잡도를 달성하며, 기존 최고 성능 결과보다 $O(d^{1/4})$의 요소로 향상된다.
• Acc-ZOMDA 방법은 대용량 배치 없이도 미니맥스 문제에 대해 $\tilde{O}((d_1 + d_2)^{3/4}\kappa_y^{4.5}\epsilon^{-3})$의 쿼리 복잡도를 확보한다.
• Acc-MDA 방법은 일阶 미니맥스 최적화에서 $\tilde{O}(\kappa_y^{4.5}\epsilon^{-3})$의 기울기 복잡도를 달성하며, 기존 최고 성능 결과보다 $O(\kappa_y^{1/2})$의 요소로 향상된다.
• 배치 크기를 $O(\kappa_y^4)$로 설정할 경우, Acc-MDA는 $\tilde{O}(\kappa_y^{2.5}\epsilon^{-3})$의 더 낮은 기울기 복잡도를 달성하여 수렴 속도를 더욱 향상시킨다.
• 이론적 분석 결과, 제안된 방법들은 이전 방법들(예: ZO-AdaMM, ZO-Min-Max)에서 사용하는 것보다 더 약한 조건인 구성 요소 함수의 스무딩만 요구함을 확인하였다.
• 블랙박스 적대적 공격 및 풀링 공격에 대한 광범위한 실험을 통해 제안된 알고리즘의 효율성과 실용적 우수성을 확인하였다.