[논문 리뷰] Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework

Pranay Sharma, Kaidi Xu외 4명|arXiv (Cornell University)|2020. 12. 21.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 함수 쿼리 수를 최소화하면서 분산을 줄이기 위해 무작위 및 좌표별 기울기 추정을 조합하는 새로운 제로계수 하이브리드 기울기 추정기(HGE)를 제안한다. 이를 통해 유의미한 수준의 수렴 속도 향상을 이룩한 ZO-HGD 방법은 볼록 케이스에서는 최적의 경계에 도달하고 비볼록 사례를 일반화하며, 좌표 중요도 샘플링과 하이브리드 기울기 분산 감소 기법을 통해 성능을 향상시킨다.

ABSTRACT

In this work, we focus on the study of stochastic zeroth-order (ZO) optimization which does not require first-order gradient information and uses only function evaluations. The problem of ZO optimization has emerged in many recent machine learning applications, where the gradient of the objective function is either unavailable or difficult to compute. In such cases, we can approximate the full gradients or stochastic gradients through function value based gradient estimates. Here, we propose a novel hybrid gradient estimator (HGE), which takes advantage of the query-efficiency of random gradient estimates as well as the variance-reduction of coordinate-wise gradient estimates. We show that with a graceful design in coordinate importance sampling, the proposed HGE-based ZO optimization method is efficient both in terms of iteration complexity as well as function query cost. We provide a thorough theoretical analysis of the convergence of our proposed method for non-convex, convex, and strongly-convex optimization. We show that the convergence rate that we derive generalizes the results for some prominent existing methods in the nonconvex case, and matches the optimal result in the convex case. We also corroborate the theory with a real-world black-box attack generation application to demonstrate the empirical advantage of our method over state-of-the-art ZO optimization approaches.

연구 동기 및 목표

• 기존의 제로계수(ZO) 최적화 방법이 블랙박스 환경에서 분산이 크고 쿼리 효율성이 떨어지는 문제를 해결한다.
• 무작위 및 좌표별 기울기 추정을 조합하여 쿼리 효율성과 분산 감소를 동시에 확보하는 하이브리드 기울기 추정기(HGE)를 개발한다.
• 고정된 쿼리 예산 하에서 기울기 추정기의 분산을 추가로 줄이기 위해 좌표 중요도 샘플링 전략을 도입한다.
• 표준 부드러움 및 유계 조건을 가정할 때 비볼록, 볼록, 강볼록 문제에 대한 이론적 수렴 보장을 수립한다.
• 심층 신경망에서의 실제 블랙박스 공격 생성 작업에서 제안된 방법의 경험적 우수성을 입증한다.

제안 방법

• 무작위 기울기 추정(쿼리 효율성 높음)과 좌표별 기울기 추정(낮은 분산)을 선형 조합하는 하이브리드 기울기 추정기(HGE)를 제안한다.
• 기울기 크기가 큰 좌표를 우선순위로 배정하는 좌표 중요도 샘플링 전략을 설계하여, 쿼리 비용을 증가시키지 않으면서도 추정기 분산을 감소시킨다.
• HGE를 제로계수 하이브리드 기울기 강하(ZO-HGD) 프레임워크에 통합하여, 무작위 및 좌표 기반 추정치의 가중 조합을 사용한다.
• 감소하는 스텝 사이즈 규칙과 적응형 조합 계수를 도입하여 두 추정 유형 간 균형을 이루고 수렴을 보장한다.
• 이론적 분석은 함수의 부드러움, 기울기 유계성, 서브가우시안 노이즈를 가정하여 수렴 속도를 유도한다.
• 기본 기울기 방법(SVRG, SPIDER 등)의 분산 감소 기법을 기반으로 하되, 기능 값만을 사용하는 기울기 추정에 적응시켜 제로계수 환경에 적용한다.

실험 결과

연구 질문

• RQ1 제로계수 최적화에서 분산을 줄이고 쿼리 효율성을 유지할 수 있는 하이브리드 기울기 추정기를 설계할 수 있는가?
• RQ2 고정된 쿼리 예산 하에서 좌표 중요도 샘플링은 ZO 기울기 추정기의 성능을 어떻게 향상시키는가?
• RQ3 제안된 ZO-HGD 방법의 이론적 수렴 속도는 비볼록, 볼록, 강볼록 설정에서 각각 어떻게 되는가?
• RQ4 최신 ZO 방법과 비교해 볼 때 제안된 방법은 최적 또는 근접 최적의 수렴 속도를 달성하는가?
• RQ5 ZO-HGD 프레임워크는 실제 블랙박스 공격 생성 작업에서 기존 ZO 방법을 초월하는가?

주요 결과

• 볼록 함수에 대해 제안된 ZO-HGD 방법은 수렴 속도 $ O\big((G^2 + \rho^2)/((\bar{\rho}} T) \frac{1 + d/n_r}{1 + \bar{c}(1 + d/n_r)}\big) $ 를 달성하며, 이는 일阶 방법의 최적 속도와 일치한다.
• 비볼록 문제에 대해서는 기존 ZO-SGD 및 ZO-SVRG 방법보다 일반화되고 향상된 성능을 보이며, 특히 고차원 설정에서 뚜렷한 이점이 있다.
• 강볼록 케이스에서는 최적의 수렴 속도를 달성하며, 이는 무작위 및 좌표 기반 기울기 추정 간 균형에 따라 달라진다.
• 이론적 분석은 하이브리드 추정기가 분산을 감소시키면서도 낮은 쿼리 복잡도를 유지함을 확인하였으며, 기대 기울기 노름과 반복값에 대한 경계를 통해 이를 검증하였다.
• 블랙박스 적대적 공격 생성 작업에 대한 경험적 결과는 ZO-HGD가 최신 ZO 방법보다 쿼리 효율성과 공격 성공률 측면에서 뛰어난 성능을 보임을 보여준다.
• 최적의 튜닝을 통해 $ \bar{c} $ (최소 샘플링 확률)와 $ \bar{\rho} $ (부드러움 파라미터)의 선택이 수렴에 결정적인 영향을 미치며, 이로 인해 근접 최적의 속도를 달성할 수 있다.