[논문 리뷰] A Stochastic Derivative Free Optimization Method with Momentum

Eduard Gorbunov, Adel Bibi외 3명|arXiv (Cornell University)|2019. 05. 30.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 7

한 줄 요약

이 논문은 유일하게 함수 평가만을 사용하는 제약이 없는 부드러운 최소화를 위한 무작위 미분 없음 최적화 방법인 SMTP를 제안한다. 이는 STP 및 최신 DFO 방법보다 비볼록, 볼록, 강볼록 설정 모두에서 향상된 수렴 속도를 달성하며, 이론적 복잡도 한계와 MuJoCo 환경을 사용한 연속 제어 과제에서의 실증적 우월성을 보인다.

ABSTRACT

We consider the problem of unconstrained minimization of a smooth objective function in $\mathbb{R}^d$ in setting where only function evaluations are possible. We propose and analyze stochastic zeroth-order method with heavy ball momentum. In particular, we propose, SMTP, a momentum version of the stochastic three-point method (STP) \cite{Bergou_2018}. We show new complexity results for non-convex, convex and strongly convex functions. We test our method on a collection of learning to continuous control tasks on several MuJoCo \cite{Todorov_2012} environments with varying difficulty and compare against STP, other state-of-the-art derivative-free optimization algorithms and against policy gradient methods. SMTP significantly outperforms STP and all other methods that we considered in our numerical experiments. Our second contribution is SMTP with importance sampling which we call SMTP_IS. We provide convergence analysis of this method for non-convex, convex and strongly convex objectives.

연구 동기 및 목표

• 함수 평가 외에 기울기를 접근할 수 없는 파생도 없음 설정을 위한 모멘텀 기반 무작위 제로차수 최적화 방법을 개발하는 것.
• 비볼록, 볼록, 강볼록 목표 함수에 대해 전역 수렴성과 향상된 복잡도 한계를 확립하는 것.
• 좌표 방향에 대한 비균일 중요도 샘플링을 사용하는 변형인 SMTP_IS를 설계하여 수렴 효율성을 추가로 향상시키는 것.
• MuJoCo 환경에서의 연속 제어 과제에서 STP, 다른 DFO 알고리즘, 정책 그래เดียน트 방법과의 비교를 통해 SMTP의 우월성을 실증적으로 검증하는 것.

제안 방법

• 세 점 x_k, x_k + α_k s_k, x_k - α_k s_k 에서의 함수 평가와 무작위 탐색 방향을 사용하는 Stochastic Three-Point(STP) 방법의 모멘텀 강화된 변형인 SMTP를 제안한다.
• 과거 반복값을 활용하여 수렴을 가속화하는 헤비 볼 모멘텀을 도입하며, Polyak의 모멘텀과 유사하지만 제로차수 설정에 적응시킨다.
• 무작위 세 점 갱신 규칙을 사용한다: x_{k+1} = argmin{f(x_k), f(x_k + α_k s_k), f(x_k - α_k s_k)}.
• 좌표 방향에 대한 비균일 중요도 샘플링을 사용하는 변형인 SMTP_IS를 개발하며, 국소 부드러움(L_i / sum L_i) 비례 확률을 사용한다.
• 기울기와 탐색 방향 간의 기대 내적을 유한하게 유지하기 위해 일반 프레임워크와 가정 3.1을 사용한다.
• L-부드러움 조건 하에서 수렴성을 분석하고, 다양한 문제 유형에 대해 함수 평가 횟수 기반의 복잡도 한계를 유도한다.

실험 결과

연구 질문

• RQ1 기울기를 접근할 수 없는 파생도 없음 최적화에 모멘텀을 효과적으로 통합하여 수렴 속도를 가속화할 수 있는가?
• RQ2 비볼록, 볼록, 강볼凸 함수에 대해 모멘텀 기반 제로차수 방법의 이론적 수렴 속도는 무엇인가?
• RQ3 좌표 방향에 대한 중요도 샘플링은 파생도 없음 방법의 수렴을 어떻게 향상시키는가?
• RQ4 제안된 방법은 실질적인 강화 학습 벤치마크에서 STP 및 다른 최신 DFO 알고리즘을 능가하는가?

주요 결과

• 비볼록 문제에 대해 SMTP는 O(1/ε²)의 복잡도를 달성하며, 제로차수 방법에서 알려진 최고의 속도와 일치한다.
• 볼록 목표 함수에 대해 SMTP는 O(1/ε)의 복잡도를 달성하며, 주어진 가정 하에서 제로차수 방법에 대해 최적이 된다.
• 강볼凸 경우, SMTP는 O(log(1/ε))의 복잡도를 달성하여 로그 수렴 속도를 나타낸다.
• SMTP_IS는 조건수와 좌표별 부드러움에 관련된 요소로 인해 SMTP보다 더 낮은 복잡도를 달성하며, 고차원 설정에서 더 나은 상수를 확보한다.
• 실증 결과로 SMTP는 MuJoCo 연속 제어 과제에서 STP, 다른 DFO 방법, 정책 그래디언트 기반 방법을 뚜렷이 능가한다.
• 다양한 과제 난이도에 걸쳐 안정성과 효율성을 보이며, 모멘텀과 중요도 샘플링의 실용적 이점을 확인한다.