[논문 리뷰] A Stochastic Derivative-Free Optimization Method with Importance Sampling

Adel Bibi, El Houcine Bergou외 3명|arXiv (Cornell University)|2019. 02. 04.

Statistical Methods and Inference인용 수 2

한 줄 요약

이 논문은 R^n 내에서의 비제약 매끄러운 최소화를 위해 기능 평가만을 사용하는 도함수 없는 최적화 방법을 제안하며, 중요도 샘플링을 통합한다. 비볼록, 볼록, 강볼록 함수에 대해 향상된 수렴 복잡도 경계를 확립하고, MuJoCo 환경에서의 고차원 연속 제어 작업에서 뚜렷한 샘플 복잡도 감소를 보여준다.

ABSTRACT

We consider the problem of unconstrained minimization of a smooth objective function in $\R^n$ in a setting where only function evaluations are possible. While importance sampling is one of the most popular techniques used by machine learning practitioners to accelerate the convergence of their models when applicable, there is not much existing theory for this acceleration in the derivative-free setting. In this paper, we propose the first derivative free optimization method with importance sampling and derive new improved complexity results on non-convex, convex and strongly convex functions. We conduct extensive experiments on various synthetic and real LIBSVM datasets confirming our theoretical results. We further test our method on a collection of continuous control tasks on MuJoCo environments with varying difficulty. Experiments suggest that our algorithm is practical for high dimensional continuous control problems where importance sampling results in a significant sample complexity improvement.

연구 동기 및 목표

• 도함수 없는 최적화 설정에서 중요도 샘플링의 이론적 이해 부족을 해결하기 위해.
• 수렴을 가속화하기 위해 중요도 샘플링을 활용하는 확률적 도함수 없는 방법을 개발하기 위해.
• 기울기 정보가 없는 조건에서 비볼록, 볼록, 강볼록 함수에 대한 향상된 복잡도 결과를 유도하기 위해.
• 합성 데이터, LIBSVM 데이터셋, MuJoCo 연속 제어 작업에서 방법을 실증적으로 검증하기 위해.

제안 방법

• 방법은 기울기 정보 없이 검색 방향을 추정하기 위해 확률적 제로차 도함수 오ракูล 쿼리를 사용한다.
• 변동성이 감소하는 방향 추정에 기여하기 위해 중요도 샘플링을 통합한다.
• 가장 높은 기대 향상이 예상되는 영역을 강조하면서, 가중 기능 평가에 기반해 검색 방향을 적응적으로 업데이트한다.
• 비볼록, 볼록, 강볼록 목표 함수에 대해 표준 매끄러움 가정 하에 복잡도 분석을 수행한다.
• 중요도 샘플링된 제로차 도함수 쿼리에 특화된 새로운 농도 경계를 사용해 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 도함수 없는 최적화에서 매끄러운 목표 함수에 대해 중요도 샘플링을 이론적으로 정당화할 수 있는가?
• RQ2 중요도 샘플링은 비볼록, 볼록, 강볼록 설정에서 제로차 방법의 수렴 복잡도에 어떻게 영향을 미치는가?
• RQ3 중요도 샘플링은 고차원 연속 제어 작업에서 샘플 효율성에 어떤 실증적 영향을 미치는가?
• RQ4 제안된 방법은 실제 데이터셋에서 표준 도함수 없는 방법에 비해 샘플 복잡도 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 표준 도함수 없는 방법에 비해 비볼록, 볼록, 강볼록 함수에 대해 향상된 수렴 복잡도 경계를 달성한다.
• LIBSVM 데이터셋에서의 실험은 이론적 개선을 확인하며, 더 적은 기능 평가로 더 빠른 수렴을 보여준다.
• MuJoCo 연속 제어 작업에서 중요도 샘플링 덕분에 뚜렷한 샘플 복잡도 감소가 관찰된다.
• 기울기 정보가 이용 불가능한 고차원 환경에서도 이 알고리즘이 실용적이고 확장 가능하다.