[논문 리뷰] Enhanced First and Zeroth Order Variance Reduced Algorithms for Min-Max Optimization

Tengyu Xu, Zhe Wang외 2명|arXiv (Cornell University)|2021. 05. 04.

Machine Learning and Algorithms참고 문헌 7인용 수 15

한 줄 요약

이 논문은 비볼록-강볼록 최소화-최대화 최적화를 위한 분산 감소 알고리즘인 SREDA-Boost를 제안한다. 이 알고리즘은 더 큰, 정확도에 의존하지 않는 스텝 사이즈와 느슨해진 초기화 조건을 통해 이론적 복잡도를 유지하면서 실용적 속도를 크게 향상시킨다. 또한, 기존에 탐색되지 않은 영역이었던 제로스티 오더(min-max) 최적화를 위한 첫 번째 분산 감소 알고리즘인 ZO-SREDA-Boost를 도입하여, 이전 방법들보다 정확도 ϵ에 대한 더 나은 복잡도 의존성을 달성한다.

ABSTRACT

Min-max optimization captures many important machine learning problems such as robust adversarial learning and inverse reinforcement learning, and nonconvex-strongly-concave min-max optimization has been an active line of research. Specifically, a novel variance reduction algorithm SREDA was proposed recently by (Luo et al. 2020) to solve such a problem, and was shown to achieve the optimal complexity dependence on the required accuracy level ϵ. Despite the superior theoretical performance, the convergence guarantee of SREDA requires stringent initialization accuracy and an ϵ-dependent stepsize for controlling the per-iteration progress, so that SREDA can run very slowly in practice. This paper develops a novel analytical framework that guarantees the SREDA's optimal complexity performance for a much enhanced algorithm SREDA-Boost, which has less restrictive initialization requirement and an accuracy-independent (and much bigger) stepsize. Hence, SREDA-Boost runs substantially faster in experiments than SREDA. We further apply SREDA-Boost to propose a zeroth-order variance reduction algorithm named ZO-SREDA-Boost for the scenario that has access only to the information about function values not gradients, and show that ZO-SREDA-Boost outperforms the best known complexity dependence on ϵ. This is the first study that applies the variance reduction technique to zeroth-order algorithm for min-max optimization problems.

연구 동기 및 목표

• SREDA의 실용적 비효율성 문제를 해결하기 위해, 이론적 복잡도는 최적이나, 정밀도에 따라 달라지는 스텝 사이즈와 엄격한 초기화 조건을 요구하는 문제를 해결하고자 한다.
• 더 제약이 적은 알고리즘 조건 하에서도 최적의 수렴 복잡도를 달성할 수 있는 새로운 분석 프레임워크를 개발하고자 한다.
• 기존에 탐색되지 않은 분야인 제로스티 오더 최소화-최대화 최적화에 분산 감소 기법을 확장하고자 한다.
• 기존 방법들보다 더 나은 ϵ에 대한 복잡도 의존성을 달성하는 제로스티 오더 알고리즘인 ZO-SREDA-Boost를 설계하고자 한다.

제안 방법

• SREDA 알고리즘을 개선하여, 정밀도에 따라 달라지는 스텝 사이즈와 분리된 수렴 보장을 가능하게 하는 새로운 분석 프레임워크를 도입함으로써 SREDA-Boost를 제안한다.
• 실제 수렴 속도를 높이되 최적의 복잡도를 유지하기 위해 더 큰, 정확도에 의존하지 않는 스텝 사이즈를 도입한다.
• 초기화 요구 조건을 완화하기 위해 더 넓은 시작점에서도 수렴 가능하도록 보장함으로써 알고리즘의 강건성을 향상시킨다.
• 기울기가 가용하지 않은 제로스티 오더 환경에 적합하게, 함수 값 쿼리(funtion value queries)를 사용하여 분산 감소 메커니즘을 변형한다.
• SREDA-Boost 프레임워크를 제로스티 오더 기울기 추정 기법과 결합하여 ZO-SREDA-Boost를 개발한다.
• ZO-SREDA-Boost에 대한 이론적 수렴 보장을 확립하여, 이전의 제로스티 오더 최소화-최대화 방법들보다 ϵ에 대한 복잡도 의존성이 더 우수함을 보여준다.

실험 결과

연구 질문

• RQ1 SREDA의 수렴 복잡도를 유지하면서, 정밀도에 따라 달라지는 스텝 사이즈와 엄격한 초기화 조건을 제거할 수 있는가?
• RQ2 기울기가 가용하지 않은 제로스티 오더 최소화-최대화 최적화에 분산 감소를 효과적으로 확장할 수 있는가?
• RQ3 제로스티 오더 최소화-최대화 알고리즘의 최적 복잡도 의존성은 무엇이며, 이를 달성할 수 있는가?
• RQ4 이론적 최적성은 유지하면서 실용적으로 훨씬 더 빠르게 작동하는 SREDA의 실용적 변종을 설계할 수 있는가?
• RQ5 어떤 분석 프레임워크가 초기화 및 스텝 사이즈 제약을 완화하면서도 수렴 속도를 유지할 수 있게 하는가?

주요 결과

• SREDA-Boost는 SREDA의 최적 수렴 복잡도를 유지하면서도 훨씬 더 큰, 정확도에 의존하지 않는 스텝 사이즈를 사용하여 실용적 수렴 속도를 크게 향상시킨다.
• SREDA-Boost의 향상된 초기화 강건성 덕분에 SREDA보다 더 넓은 시작점에서도 안정적으로 수렴할 수 있다.
• ZO-SREDA-Boost는 최소화-최대화 최적화를 위한 첫 번째 제로스티 오더 분산 감소 알고리즘으로, 이 분야에서 분산 감소의 실현 가능성과 이점을 입증한다.
• ZO-SREDA-Boost는 기존의 최고 수준의 제로스티 오더 최소화-최대화 알고리즘보다 ϵ에 대한 복잡도 의존성이 더 좋다.
• 실험 결과에 따르면, 개선된 스텝 사이즈와 초기화 조건 덕분에 SREDA-Boost는 실질적으로 SREDA보다 훨씬 더 빠르게 작동한다.
• 제안된 분석 프레임워크는 수렴 보장을 정밀도에 따라 달라지는 매개변수에서 분리하여, 더 넓은 알고리즘 설계 유연성을 제공한다.