[논문 리뷰] The Power of First-Order Smooth Optimization for Black-Box Non-Smooth Problems

Alexander Gasnikov, Anton Novitskii외 7명|arXiv (Cornell University)|2022. 01. 28.

Stochastic Gradient Optimization Techniques인용 수 12

한 줄 요약

이 논문은 최적의 오라클 복잡도와 근사 최적의 반복 복잡도를 달성할 수 있는 일반적인 스무딩 기반 프레임워크를 제안한다. 이는 제로스터드(Zeroth-order) 최적화 방법을 사용하여 블랙박스 비스무스(convex) 문제를 해결할 수 있도록 한다. 랜덤화된 스무딩과 배치-병렬 제로스터드 오라클 쿼리를 활용함으로써, 반복 수는 $ O(d^{1/4} M_2 R / \varepsilon) $이며, 각 반복당 오라클 호출 수는 $ O(d^{3/4} M_2 R / \varepsilon) $로, 비스무스 설정에서 반복 복잡도의 이론적 하한선과 정확히 일치한다.

ABSTRACT

Gradient-free/zeroth-order methods for black-box convex optimization have been extensively studied in the last decade with the main focus on oracle calls complexity. In this paper, besides the oracle complexity, we focus also on iteration complexity, and propose a generic approach that, based on optimal first-order methods, allows to obtain in a black-box fashion new zeroth-order algorithms for non-smooth convex optimization problems. Our approach not only leads to optimal oracle complexity, but also allows to obtain iteration complexity similar to first-order methods, which, in turn, allows to exploit parallel computations to accelerate the convergence of our algorithms. We also elaborate on extensions for stochastic optimization problems, saddle-point problems, and distributed optimization.

연구 동기 및 목표

• 비스무스 볼록 최적화에서 오라클 복잡도는 최적임에도 불구하고 반복 복잡도에 대한 격차를 해결하기 위해.
• 기능 값 쿼리만을 사용하여 비스무스 문제에 대해 제1차 스무딩 최적화 기법을 활용하는 블랙박스 방법을 개발하기 위해.
• 반복당 오라클 호출 수를 최소화하면서도 총 오라클 복잡도의 최적성을 유지함으로써 병렬 계산을 가능하게 하기 위해.
• 스tu디오스틱, 안장점(saddle-point), 분산 최적화 설정으로 프레임워크를 확장하기 위해.
• 강화학습 및 회귀 작업에서 기울기 기반 방법과의 실증적 경쟁력을 입증하기 위해.

제안 방법

• 함수 $ f_\gamma(x) = \mathbb{E}_u[f(x+u)] $ 를 사용하는 랜덤화된 스무딩 기법을 도입하며, 여기서 $ u \sim \text{Unif}(B^d_2(\gamma)) $ 이다. 이는 비스무스 함수 $ f $ 를 스무딩된 근사치로 변환한다.
• 비스무스 함수 $ f $ 를 대체하기 위해 스무딩된 근사치 $ f_\gamma $ 를 사용함으로써, 알려진 수렴 보장을 가진 최적의 제1차 최적화 방법을 적용할 수 있도록 한다.
• 다중 점에서 동시에 함수 $ f $ 를 쿼리하는 배치-병렬 제로스터드 알고리즘을 설계하여, 반복당 오라클 비용을 최소화하면서도 총 오라클 복잡도의 최적성을 유지한다.
• 배치, 재시작, 공통점-투영 기법을 이용한 감소를 통해 스튜디오스틱, 안장점, 분산 문제에 프레임워크를 적용한다.
• 수렴 속도 향상과 문제 구조에 대한 적응을 위해 알고리즘 설계에서 비유클리드 기하학을 활용한다.
• 기능 평가만을 사용하여 $ \nabla f_\gamma $ 를 근사하기 위해 비정확한 기울기 근사치(중앙 및 전진 유한 차분)를 구현한다.

실험 결과

연구 질문

• RQ1 제로스터드 오라클을 통해 비스무스 블랙박스 문제에 대해 제1차 스무딩 최적화 방법을 최적의 오라클 복잡도와 반복 복잡도로 적응시킬 수 있는가?
• RQ2 제로스터드 비스무스 최적화에서 오라클 복잡도를 희생시키지 않고도 근사 최적의 반복 복잡도를 달성할 수 있는가?
• RQ3 스무딩 반경 $ \gamma $ 와 기하학적 구조(예: 유클리드 대비 비유클리드)의 선택이 제로스터드 방법의 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 복잡도 한계를 유지하면서도 스튜디오스틱, 안장점, 분산 최적화 문제로 확장될 수 있는가?
• RQ5 이 스킴에 기반한 제로스터드 방법의 성능은 실질적인 강화학습 및 회귀 작업에서 기울기 기반 방법과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 $ O(d^{1/4} M_2 R / \varepsilon) $ 의 반복 복잡도를 달성하며, 이는 비스무스 제로스터드 문제에 대한 하한선 $ \min\{d^{1/4} \varepsilon^{-1}, d^{1/3} \varepsilon^{-2/3}\} $ 과 정확히 일치한다.
• 각 반복은 오직 $ O(d^{3/4} M_2 R / \varepsilon) $ 의 오라클 호출만 필요하며, 이는 반복당 최적의 비용이며 효율적인 병렬 처리를 가능하게 한다.
• 총 오라클 호출 수는 최적이며, 제로스터드 비스무스 볼록 최적화의 알려진 하한선과 정확히 일치한다.
• Reacher-v2, abalone, a9a 데이터셋에 대한 실증 결과는, 중심 유한 차분 또는 전진 유한 차분을 사용한 ADAM이 정확한 기울기와 거의 동일한 성능을 내며, 특히 잘 선택된 $ \gamma $ 를 사용할 경우 뛰어난 성능을 보임을 보여준다.
• 중앙 유한 차분은 더 큰 점 간격 덕분에 수치 오차에 더 강인하여 이론적 기대와 일치함을 확인한다.
• 배치, 재시작, 공통점-투영 기법과 같은 표준 기법을 통해 스튜디오스틱, 안장점, 분산 설정으로의 확장이 가능하며, 복잡도 한계는 유지된다.