[논문 리뷰] Accelerated Stochastic Gradient-free and Projection-free Methods

Feihu Huang, Lue Tao외 1명|arXiv (Cornell University)|2020. 07. 16.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

이 논문은 기울기 접근이 불가능한 제약 조건이 있는 비볼록 최적화를 위한 가속화된 스토하스틱 제로스오더 프랭크-울프 방법(Acc-SZOFW 및 Acc-SZOFW*)을 제안한다. SPIDER/SpiderBoost 및 STORM를 이용한 분산 감소와 새로운 모멘타움 기법을 융합함으로써, 유한합 문제의 경우 $O(d\sqrt{n}\epsilon^{-2})$ 및 스토하스틱 문제의 경우 $O(d\epsilon^{-3})$의 향상된 기능 쿼리 복잡도를 달성하여 이전 연구에 비해 상당한 개선을 이룬다.

ABSTRACT

In the paper, we propose a class of accelerated stochastic gradient-free and projection-free (a.k.a., zeroth-order Frank-Wolfe) methods to solve the constrained stochastic and finite-sum nonconvex optimization. Specifically, we propose an accelerated stochastic zeroth-order Frank-Wolfe (Acc-SZOFW) method based on the variance reduced technique of SPIDER/SpiderBoost and a novel momentum accelerated technique. Moreover, under some mild conditions, we prove that the Acc-SZOFW has the function query complexity of $O(d\sqrt{n}ε^{-2})$ for finding an $ε$-stationary point in the finite-sum problem, which improves the exiting best result by a factor of $O(\sqrt{n}ε^{-2})$, and has the function query complexity of $O(dε^{-3})$ in the stochastic problem, which improves the exiting best result by a factor of $O(ε^{-1})$. To relax the large batches required in the Acc-SZOFW, we further propose a novel accelerated stochastic zeroth-order Frank-Wolfe (Acc-SZOFW*) based on a new variance reduced technique of STORM, which still reaches the function query complexity of $O(dε^{-3})$ in the stochastic problem without relying on any large batches. In particular, we present an accelerated framework of the Frank-Wolfe methods based on the proposed momentum accelerated technique. The extensive experimental results on black-box adversarial attack and robust black-box classification demonstrate the efficiency of our algorithms.

연구 동기 및 목표

• 기울기가 제공되지 않는, 특히 블랙박스 환경에서 제약 조건이 있는 비볼록 최적화 문제를 해결하기 위해.
• 유한합 및 스토하스틱 환경에서 제로스오더 프랭크-울프 방법의 기능 쿼리 복잡도를 낮추기 위해.
• 분산 감소에 있어 큰 미니배치를 요구하지 않도록 하여 실용적 효율성을 향상시키기 위해.
• 새로운 모멘타움 기법을 사용하여 프랭크-울프 방법에 대한 일반적인 가속화 프레임워크를 개발하기 위해.

제안 방법

• SPIDER/SpiderBoost 기반의 분산 감소와 제로스오더 프랭크-울프에 새로운 모멘타움 가속화 기법을 융합하여 Acc-SZOFW를 제안한다.
• STORM 기반의 분산 감소를 사용하여 큰 배치를 요구하지 않으면서도 최적의 쿼리 복잡도를 유지하는 Acc-SZOFW*를 제안한다.
• 기능 값 기반의 기울기 근사에 좌표별 기울기 추정기(CooGE)와 균일/부드럽게 처리된 추정기(UniGE)를 활용한다.
• 제로스오더 프랭크-울프에서 수렴 속도를 가속화하기 위해 동적으로 탐색 방향을 조정하는 새로운 모멘타움 기법을 적용한다.
• 각 반복에서 투영 대신 선형 최소화 오ракูล을 사용하여 프로젝션 프리 특성을 유지한다.
• 제약 집합의 미세한 평활성 및 컴act성 가정 하에 이론적 수렴 보장을 도출한다.

실험 결과

연구 질문

• RQ1 스토하스틱 비볼록 최적화에서 수렴 속도가 가속화되고 기능 쿼리 복잡도가 감소한 제로스오더 프랭크-울프 방법을 설계할 수 있는가?
• RQ2 분산 감소된 제로스오더 프랭크-울프 방법에서 큰 미니배치를 요구하지 않으면서도 최적의 쿼리 복잡도를 유지할 수 있는가?
• RQ3 제안된 모멘타움 가속화 기법은 표준 프랭크-울프에 비해 제로스오더 환경에서 수렴에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 유한합 및 스토하스틱 환경 모두에서 기존의 제로스오더 프랭크-울프 알고리즘보다 더 나은 쿼리 복잡도를 달성할 수 있는가?

주요 결과

• Acc-SZOFW 방법은 유한합 문제에서 $O(d\sqrt{n}\epsilon^{-2})$의 기능 쿼리 복잡도를 달성하여 이전 최고 성능에 비해 $O(\sqrt{n}\epsilon^{-2})$의 요소로 향상되었다.
• 스토하스틱 문제의 경우, Acc-SZOFW는 $O(d\epsilon^{-3})$의 쿼리 복잡도를 달성하여 이전 최고 성능에 비해 $O(\epsilon^{-1})$의 요소로 향상되었다.
• Acc-SZOFW* 방법은 STORM 기반의 분산 감소 덕분에 큰 배치에 의존하지 않으면서도 동일한 $O(d\epsilon^{-3})$의 쿼리 복잡도를 확보하였다.
• 블랙박스 적대적 공격 및 강건한 분류에 대한 광범위한 실험을 통해 제안된 알고리즘이 기존 방법보다 더 빠르게 수렴하고 더 적은 기능 쿼리 수를 요구하는 것으로 확인되었다.
• 모멘타움을 통한 제안된 가속화 프레임워크는 MNIST 및 CIFAR10에서의 실험 결과를 통해 제로스오더 프랭크-울프에서 수렴 속도를 상당히 향상시킴을 입증하였다.
• 알고리즘은 유니버설 및 단일점 적대적 예제 생성에서 뛰어난 성능을 보이며, 실세계 머신러닝 보안 작업에서의 실용적 효율성을 확인하였다.