[논문 리뷰] Zeroth-Order Stochastic Variance Reduction for Nonconvex Optimization

Sijia Liu, Bhavya Kailkhura외 4명|arXiv (Cornell University)|2018. 05. 25.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 48

한 줄 요약

제로스 차수 분산 감소 최적화 방법 ZO-SVRG를 도입하고, 비울고(비볼록) 문제에 대한 수렴성 및 편향을 분석하며, 두 가지 가속 변형과 실용적 블랙박스 응용에서 향상된 성능을 시연한다.

ABSTRACT

As application demands for zeroth-order (gradient-free) optimization accelerate, the need for variance reduced and faster converging approaches is also intensifying. This paper addresses these challenges by presenting: a) a comprehensive theoretical analysis of variance reduced zeroth-order (ZO) optimization, b) a novel variance reduced ZO algorithm, called ZO-SVRG, and c) an experimental evaluation of our approach in the context of two compelling applications, black-box chemical material classification and generation of adversarial examples from black-box deep neural network models. Our theoretical analysis uncovers an essential difficulty in the analysis of ZO-SVRG: the unbiased assumption on gradient estimates no longer holds. We prove that compared to its first-order counterpart, ZO-SVRG with a two-point random gradient estimator could suffer an additional error of order $O(1/b)$, where $b$ is the mini-batch size. To mitigate this error, we propose two accelerated versions of ZO-SVRG utilizing variance reduced gradient estimators, which achieve the best rate known for ZO stochastic optimization (in terms of iterations). Our extensive experimental results show that our approaches outperform other state-of-the-art ZO algorithms, and strike a balance between the convergence rate and the function query complexity.

연구 동기 및 목표

• 제로차(gradient-free) 비볼록 최적화에 대한 분산 감소의 필요성 제시.
• SVRG와 제로차(영차) 그래디언트 추정기를 결합하여 ZO-SVRG 개발.
• 제로차 추정에 의해 도입된 수렴성 및 오차항 분석.
• 반복 복잡도를 향상시키기 위한 가속 변형 제안.
• 블랙박스 재료 분류 및 블랙박스 적대적 공격 생성에서의 효과성 시연.

제안 방법

• 비볼록 유한합 문제를 형식화하고 두 지점 제로차 그래디언트 추정기를 채택.
• SVRG(알고리즘 2)에서 참 그래디언트를 제로차 그래디언트 추정치로 대체하여 ZO-SVRG 도입.
• 혼합 그래디언트 추정기의 이차 모멘트 상한을 도출하고 b<n일 때 O(d/b) 오차 항을 확인.
• 샘플링 및 스무딩 매개변수를 포함하는 명시적 항과 함께 E[||∇f(x̄)||^2] ≤ … 형태의 수렴성 결과 제시.
• 평균-랜들그래드추정(Avg-RandGradEst) 및 좌표그래드추정(CoordGradEst)을 통한 반복 복잡도 개선 등 가속 제안.
• ZO-SVRG, ZO-SVRG-Ave, ZO-SVRG-Coord, ZO-SGD, ZO-SVRC 간의 쿼리 복잡도 및 수렴성 비교.

실험 결과

연구 질문

• RQ1 제로차 최적화의 비볼록 목적함수에 분산 감소 기법을 효과적으로 적용할 수 있는가?
• RQ2 두 점 제로차 추정기가 SVRG형 수렴 보증에 미치는 영향은 무엇인가?
• RQ3 가속된 제로차 분산 감소 변형은 반복 및 쿼리 복잡도에서 어떻게 비교되는가?
• RQ4 재료 분류와 블랙박스 적대적 공격과 같은 실제 문제에서 이 방법들이 성능을 발휘하는가?

주요 결과

• ZO-SVRG는 제로차 추정에 의한 O(d/b) 오차 항이 추가되지만 SVRG와 유사한 수렴 속도를 달성한다.
• 두 가지 가속 변형인 ZO-SVRG-Ave와 ZO-SVRG-Coord는 반복 측면에서 최적 알려진 제로차 수렴 경계에 도달할 수 있다.
• Avg-RandGradEst는 O(d/b) 오차를 O(d/(bq))로 축소하여 방향 수의 보통의 수로 수렴 속도를 높인다.
• CoordGradEst는 가장 빠른 반복 속도를 제공하지만 많은 함수 쿼리가 필요하여 전체 비용을 증가시킨다.
• 실험 결과 ZO-SVRG 계열이 블랙박스 화학 물질 분류 및 블랙박스 DNN 적대적 공격 과제에서 ZO-SGD 및 ZO-SVRC보다 우수하다는 것을 보여준다.