[論文レビュー] Gradientless Descent: High-Dimensional Zeroth-Order Optimization

Daniel Golovin, John Karro+4 more|arXiv (Cornell University)|Apr 30, 2020

Stochastic Gradient Optimization Techniques参考文献 29被引用数 17

ひとこと要約

本稿では、滑らかで強く凸な目的関数に対して、潜在次元 k ≥ n において、最適解の ϵ-ボール内に収束するゼロスティーム最適化手法である勾配なし勾配降下法（GLD）を提案する。この手法は、O(kQ log(n) log(R/ϵ)) 回の評価で収束を達成し、数値的に安定で、単調変換に対して不変であり、次元に多対数的依存性を有する最初の手法であり、最適収束速度を達成する。

ABSTRACT

Zeroth-order optimization is the process of minimizing an objective $f(x)$, given oracle access to evaluations at adaptively chosen inputs $x$. In this paper, we present two simple yet powerful GradientLess Descent (GLD) algorithms that do not rely on an underlying gradient estimate and are numerically stable. We analyze our algorithm from a novel geometric perspective and we show that for {\it any monotone transform} of a smooth and strongly convex objective with latent dimension $k \ge n$, we present a novel analysis that shows convergence within an $\epsilon$-ball of the optimum in $O(kQ\log(n)\log(R/\epsilon))$ evaluations, where the input dimension is $n$, $R$ is the diameter of the input space and $Q$ is the condition number. Our rates are the first of its kind to be both 1) poly-logarithmically dependent on dimensionality and 2) invariant under monotone transformations. We further leverage our geometric perspective to show that our analysis is optimal. Both monotone invariance and its ability to utilize a low latent dimensionality are key to the empirical success of our algorithms, as demonstrated on synthetic and MuJoCo benchmarks.

研究の動機と目的

• 勾配推定に依存しないゼロスティーム最適化アルゴリズムを構築し、高次元設定においても数値的に安定すること。
• 入力次元 n に対して多対数的依存性を有する収束速度を達成し、従来の多項式的または指数的依存性を持つ手法を改善すること。
• 目的関数の単調変換に対して不変であることを保証すること。これは、複雑な最適化ランドスケープにおける経験的頑健性にとって不可欠である。
• 最適化プロセスを新しい幾何的視点から分析し、よりタイトで一般性の高い収束バウンディングを可能にすること。
• 合成および MuJoCo ベンチマーク上での実用的有効性を示し、理論的利点を実証すること。

提案手法

• GLDアルゴリズムは、勾配情報が不要な適応的サンプリングを用いて、所定の入力を評価する。
• 最適化プロセスを潜在次元 k の空間における方向探索の系列として扱う幾何的解析フレームワークを活用する。
• 目的関数の単調変換に対して不変であるように設計されており、f(x) のスケールや変換にかかわらず一貫した性能を発揮する。
• 収束は、潜在次元 k、条件数 Q、入力直径 R、および所望の精度 ϵ に依存する新しいバウンディングを用いて分析される。
• 目的関数を k 次元の潜在空間における滑らかで強く凸な関数とみなす幾何的視点から、アルゴリズムの安定性と収束性を証明する。
• O(kQ log(n) log(R/ϵ)) 回の関数評価で ϵ-最適性に到達するが、これは n に対して多対数的依存性を持つ最初の収束レートである。

実験結果

リサーチクエスチョン

• RQ1 勾配推定に依存せず、次元に多対数的依存性を有するゼロスティーム最適化が、収束速度を達成可能か？
• RQ2 目的関数の単調変換に対して不変であるゼロスティームアルゴリズムを設計可能か？
• RQ3 幾何的解析フレームワークが、高次元設定におけるゼロスティーム手法のよりタイトで一般性の高い収束バウンディングをもたらせるか？
• RQ4 目的関数の潜在次元 k が、勾配なし最適化の収束速度にどのように影響するか？
• RQ5 滑らかさ、強く凸性、および単調不変性の仮定のもとで、提案された収束速度は最適か？

主な発見

• GLDアルゴリズムは、O(kQ log(n) log(R/ϵ)) 回の関数評価で最適解の ϵ-近傍に収束し、これは入力次元 n に対して多対数的依存性を持つ最初のレートである。
• 収束速度は目的関数の単調変換に対して不変であり、この性質は頑健性を高め、複雑な環境下での経験的成功を説明する。
• 幾何的解析フレームワークにより、与えられた仮定のもとでアルゴリズムの収束が最適であることが明らかになり、理論的タイトさが確立された。
• 数値的に安定で勾配推定を必要としないため、ブラックボックスまたはノイズのある目的関数に適している。
• 合成および MuJoCo ベンチマークにおける実験的評価により、特に高次元および非凸設定において本手法の有効性が確認された。
• 潜在次元 k ≥ n が、高速収束を達成する上で重要な要因であることが示された。本手法は、高次元問題における低次元構造を効果的に活用している。