[论文解读] A Stochastic Derivative-Free Optimization Method with Importance Sampling

Adel Bibi, El Houcine Bergou+3 more|arXiv (Cornell University)|Feb 4, 2019

Statistical Methods and Inference被引用 2

一句话总结

本文提出了一种无导数优化方法，结合重要性采样，仅通过函数评估即可实现 R^n 中无约束光滑最小化。该方法为非凸、凸及强凸函数建立了改进的收敛复杂度界，并在 MuJoCo 环境下的高维连续控制任务中显著降低了样本复杂度。

ABSTRACT

We consider the problem of unconstrained minimization of a smooth objective function in $\R^n$ in a setting where only function evaluations are possible. While importance sampling is one of the most popular techniques used by machine learning practitioners to accelerate the convergence of their models when applicable, there is not much existing theory for this acceleration in the derivative-free setting. In this paper, we propose the first derivative free optimization method with importance sampling and derive new improved complexity results on non-convex, convex and strongly convex functions. We conduct extensive experiments on various synthetic and real LIBSVM datasets confirming our theoretical results. We further test our method on a collection of continuous control tasks on MuJoCo environments with varying difficulty. Experiments suggest that our algorithm is practical for high dimensional continuous control problems where importance sampling results in a significant sample complexity improvement.

研究动机与目标

• 为解决无导数优化设置中重要性采样缺乏理论理解的问题。
• 开发一种利用重要性采样加速收敛的随机无导数方法。
• 在无梯度信息条件下，为非凸、凸及强凸函数推导改进的复杂度结果。
• 在合成数据、LIBSVM 数据集以及 MuJoCo 连续控制任务上对方法进行实证验证。

提出的方法

• 该方法使用随机零阶预言机查询来估计搜索方向，无需梯度信息。
• 通过引入重要性采样，优先选择具有信息量的函数评估，从而降低方向估计的方差。
• 算法基于加权函数评估自适应更新搜索方向，强调预期改进更高的区域。
• 在非凸、凸及强凸目标函数的标准光滑性假设下进行复杂度分析。
• 通过针对重要性采样零阶查询量身定制的新颖集中不等式，推导出理论保证。

实验结果

研究问题

• RQ1 重要性采样能否在光滑目标函数的无导数优化中获得理论支持？
• RQ2 重要性采样如何影响非凸、凸及强凸设置下零阶方法的收敛复杂度？
• RQ3 重要性采样对高维连续控制任务中样本效率的实证影响如何？
• RQ4 所提出的方法在真实世界数据集上的样本复杂度方面是否优于标准无导数方法？

主要发现

• 与标准无导数方法相比，所提方法在非凸、凸及强凸函数上实现了改进的收敛复杂度界。
• 在 LIBSVM 数据集上的实验验证了理论改进，表明在更少的函数评估下实现更快收敛。
• 在 MuJoCo 连续控制任务中，由于重要性采样，该方法显著降低了样本复杂度。
• 该算法在梯度信息不可用的高维设置中具有实际应用性和可扩展性。