[論文レビュー] A Stochastic Derivative-Free Optimization Method with Importance Sampling

Adel Bibi, El Houcine Bergou+3 more|arXiv (Cornell University)|Feb 4, 2019

Statistical Methods and Inference被引用数 2

ひとこと要約

本稿では、R^nにおける滑らかな非制約最小化問題に対して、勾配情報を利用せずに関数評価のみを用いる、重要度サンプリングを組み込んだ勾配フリー最適化手法を提案する。非凸、凸、強く凸な関数に対して、改善された収束複雑度バウンズを確立し、MuJoCo環境における高次元連続制御タスクで顕著なサンプル複雑度の低減を示した。

ABSTRACT

We consider the problem of unconstrained minimization of a smooth objective function in $\R^n$ in a setting where only function evaluations are possible. While importance sampling is one of the most popular techniques used by machine learning practitioners to accelerate the convergence of their models when applicable, there is not much existing theory for this acceleration in the derivative-free setting. In this paper, we propose the first derivative free optimization method with importance sampling and derive new improved complexity results on non-convex, convex and strongly convex functions. We conduct extensive experiments on various synthetic and real LIBSVM datasets confirming our theoretical results. We further test our method on a collection of continuous control tasks on MuJoCo environments with varying difficulty. Experiments suggest that our algorithm is practical for high dimensional continuous control problems where importance sampling results in a significant sample complexity improvement.

研究の動機と目的

• 勾配フリー最適化設定における重要度サンプリングの理論的裏付けの欠如に取り組むこと。
• 収束を加速するために重要度サンプリングを活用する確率的勾配フリー手法を開発すること。
• 勾配情報が存在しない状況下で、非凸、凸、強く凸な関数に対する改善された複雑度結果を導出すること。
• 合成データ、LIBSVMデータセット、およびMuJoCo連続制御タスクにおいて、手法を実証的に検証すること。

提案手法

• 勾配情報なしで探索方向を推定するために、確率的ゼロ次オракルクエリを用いる。
• 分散を低減するため、情報量の多い関数評価を優先するように重要度サンプリングを組み込む。
• 重み付き関数評価に基づいて、期待改善度がより高い領域を強調するように、探索方向を適応的に更新する。
• 非凸、凸、強く凸な目的関数に対して、標準的な滑らかさ仮定の下で複雑度解析を実施する。
• 重要度サンプリングされたゼロ次クエリに特化した新しい集中不等式を用いて、理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな目的関数に対する勾配フリー最適化において、重要度サンプリングは理論的に正当化可能か？
• RQ2 非凸、凸、強く凸な設定下で、重要度サンプリングはゼロ次法の収束複雑度にどのように影響するか？
• RQ3 高次元連続制御タスクにおけるサンプル効率に、重要度サンプリングが与える実証的影響は何か？
• RQ4 実世界のデータセットにおいて、提案手法は標準的な勾配フリー手法に比べてサンプル複雑度を改善するか？

主な発見

• 提案手法は、標準的な勾配フリー手法と比較して、非凸、凸、強く凸な関数に対して改善された収束複雑度バウンズを達成した。
• LIBSVMデータセットにおける実験により、理論的改善が確認され、関数評価回数を減らしてもより速い収束が実現した。
• MuJoCo連続制御タスクでは、重要度サンプリングのおかげで顕著なサンプル複雑度の低減が示された。
• 勾配情報が入手不能な高次元設定において、アルゴリズムは実用的かつスケーラブルであることが示された。