[논문 리뷰] Randomized Derivative-Free Optimization of Noisy Convex Functions

Ruobing Chen, Stefan M. Wild|arXiv (Cornell University)|2015. 07. 13.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 소음이 있는 볼록 함수를 위한 무도함수 최적화 알고리즘인 STARS를 소개한다. STARS는 진짜 방향 도함수와 그 근사값 간 오차를 최소화하기 위해 스무딩 스텝사이즈를 동적으로 조정함으로써 소음에 강인한 수렴성을 달성한다. STARS는 Nesterov의 방법과 동일한 이론적 보장을 갖추고 있으며, 특히 덧셈성 및 곱셈성 소음 하에서 기존의 제로오더 방법보다 실질적으로 뛰어난 성능을 보인다.

ABSTRACT

We propose STARS, a randomized derivative-free algorithm for unconstrained optimization when the function evaluations are contaminated with random noise. STARS takes dynamic, noise-adjusted smoothing step-sizes that minimize the least-squares error between the true directional derivative of a noisy function and its finite difference approximation. We provide a convergence rate analysis of STARS for solving convex problems with additive or multiplicative noise. Experimental results show that (1) STARS exhibits noise-invariant behavior with respect to different levels of stochastic noise; (2) the practical performance of STARS in terms of solution accuracy and convergence rate is significantly better than that indicated by the theoretical result; and (3) STARS outperforms a selection of randomized zero-order methods on both additive and multiplicative-noisy functions.

연구 동기 및 목표

• 목적 함수 평가가 랜덤 소음에 의해 훼손되고 도함수가 이용 불가능한 상황에서 볼록 함수 최적화 문제를 해결한다.
• 소음 수준에 적응하는 동적 스텝사이즈 선택을 통해 강인성과 수렴성을 향상시키기 위해 도함수 없는 알고리즘을 개발한다.
• 약한 가정 하에 덧셈성 및 곱셈성 소음 모델에 대해 이론적 수렴 속도 분석을 제공한다.
• 실험을 통해 STARS가 이론적 최악의 경우 경계가 보수적인 경우에도 기존의 무작위 제로오더 방법보다 해의 정확도와 수렴 속도 면에서 뚜렷이 뛰어나다는 것을 입증한다.

제안 방법

• STARS는 유한 차분을 통해 방향 도함수를 가우시안 스무딩으로 근사하며, 동적으로 조정된 스텝사이즈를 사용한다.
• 스무딩 스텝사이즈는 진짜 방향 도함수와 그 유한 차분 근사값 간 최소 제곱 오차를 최소화하도록 선택된다.
• 알고리즘은 무작위 탐색 방향을 따라 노이즈가 섞인 목적 함수 평가를 기반으로 한 스토하스틱 도함수 없는 오라클을 반복적으로 업데이트하여 해를 갱신한다.
• 스텝사이즈는 반복마다 소음 추정치와 국소 함수 변동성에 기반하여 조정되어, 덧셈성 및 곱셈성 소음 모두에 강인함을 확보한다.
• 노이즈 환경에서의 스텝사이즈 선택을 개선하기 위해 Moré와 Wild의 계산적 소음 추정 작업에서의 통찰을 통합한다.
• 표준 가정 하에서 수렴 분석을 수행한다: 볼록성, 리프시츠 연속 기울기, 유한한 소음 분산. 결과는 부드러운 볼록 함수에 대해 Nesterov의 복잡도 경계와 일치한다.

실험 결과

연구 질문

• RQ1 도함수 없는 최적화 알고리즘이 덧셈성 및 곱셈성 소음 하에서 소음에 강인한 수렴을 달성할 수 있는가?
• RQ2 소음에 적응하는 동적 스텝사이즈 선택이 고정 또는 히우리스틱 스텝사이즈 대비 소음 환경에서 성능을 어떻게 향상시키는가?
• RQ3 STARS의 실질적 성능이 이론적 최악의 경우 수렴 경계를 얼마나 초월하는가?
• RQ4 STARS는 SS, RSGF, RP 및 (1+1)-ES와 같은 기존의 무작위 제로오더 방법과 비교해 소음 하에서 수렴 속도와 해의 정확도 면에서 어떻게 다른가?
• RQ5 STARS는 소음 구조에 대한 사전 지식 없이 다양한 소음 수준에서 일관된 성능을 유지할 수 있는가?

주요 결과

• STARS는 덧셈성 및 곱셈성 소음의 다양한 수준에서 안정적인 수렴을 유지하는 소음에 간영한 행동을 보인다.
• STARS의 실질적 수렴 속도와 해의 정확도는 이론적 최악의 경우 경계를 크게 초월하며, 실제 적용에서 뛰어난 성능을 보인다.
• STARS는 덧셈성 및 곱셈성 소음 테스트 문제에서 SS, RSGF, RP 및 (1+1)-ES보다 수렴 속도와 최종 해 품질 면에서 뛰어나다.
• 방향 도함수 근사에서 최소 제곱 오차를 최소화하기 위해 선택된 동적 스텝사이즈 선택 전략이 소음 강인성에 결정적인 역할을 한다.
• 곱셈성 소음의 경우, STARS는 SS에서 고정 스텝사이즈를 튜닝하는 것으로 재현될 수 없으며, 이는 동적 적응의 必요성을 강조한다.
• 실험 결과는 STARS가 목적 함수가 노이즈가 있더라도 부드러운 볼록 함수에 대해 Nesterov의 방법과 동일한 수렴 속도를 달성함을 확인한다.