[論文レビュー] A Theoretical and Empirical Comparison of Gradient Approximations in Derivative-Free Optimization

Albert S. Berahas, Liyuan Cao+2 more|arXiv (Cornell University)|May 3, 2019

Advanced Optimization Algorithms Research被引用数 4

ひとこと要約

本稿は、有界ノイズ下での勾配近似手法—有限差分、線形補間、ガウススムージング、球面スムージング—の理論的・実験的比較を提供する。線分探索および固定ステップ長勾配降下法における収束を保証するサンプリングバウンドを確立し、有限差分法および補間法がスムージング手法に比べて効率性と精度で優れていることを示している。

ABSTRACT

In this paper, we analyze several methods for approximating gradients of noisy functions using only function values. These methods include finite differences, linear interpolation, Gaussian smoothing and smoothing on a sphere. The methods differ in the number of functions sampled, the choice of the sample points, and the way in which the gradient approximations are derived. For each method, we derive bounds on the number of samples and the sampling radius which guarantee favorable convergence properties for a line search or fixed step size descent method. To this end, we use the results in [Berahas et al., 2019] and show how each method can satisfy the sufficient conditions, possibly only with some sufficiently large probability at each iteration, as happens to be the case with Gaussian smoothing and smoothing on a sphere. Finally, we present numerical results evaluating the quality of the gradient approximations as well as their performance in conjunction with a line search derivative-free optimization algorithm.

研究の動機と目的

• 有界ノイズを伴う無微分最適化における勾配近似手法の理論的・実験的性能を分析・比較すること。
• 線分探索および固定ステップ長勾配降下法における収束を保証するためのサンプリングバウンドおよび半径要件を導出すること。
• 有限差分法、線形補間、ガウススムージング、球面スムージングの実用的効率性および精度を評価すること。
• サンプリング戦略およびステップサイズ選択が、無微分最適化における収束性および性能に与える影響を調査すること。
• 有界ノイズ仮定下で、L-BFGSまたは線分探索法と併用する勾配近似の理論的妥当性を提供すること。

提案手法

• 座標方向に摂動を加えた点における関数評価を用いて、前進および中心差分による勾配推定を実施する。
• 現在点から出るn個の線形独立な方向を用い、方向ベクトルを含む行列の逆行列を用いて勾配を推定する線形補間を適用する。
• 独立かつ平均0のガウス分布に従う方向に沿った微分を平均化することでガウススムージングを実装し、精度に合わせて分散を調整する。
• n次元球面上で一様に抽出された単位ベクトルを用い、それらの方向に沿った微分を平均化することで球面スムージングを実装する。
• 有界ノイズ下で勾配近似が十分降下条件を満たす確率を高く保証するための、サンプル数およびサンプリング半径の理論的バウンドを導出する。
• 数値実験において、適応的および固定ステップサイズを用いて線分探索およびL-BFGS法による性能評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 異なる勾配近似手法は、有界ノイズ下でどの程度理論的収束保証を達成できるか？
• RQ2 各手法が無微分最適化で収束を保証するために必要な最小の関数評価回数およびサンプリング半径は何か？
• RQ3 有限差分法、線形補間、スムージングベース手法は、精度および計算効率の観点でどのように比較できるか？
• RQ4 ガウス分布と球面分布の両方のサンプリング分布の選択が、勾配近似の品質および収束性に与える影響は何か？
• RQ5 適応的ステップサイズ選択は、固定ステップサイズに比べて、さまざまな勾配近似手法における性能向上にどの程度寄与するか？

主な発見

• 有限差分法および線形補間法は、スムージングベース手法に比べて、関数評価回数が少なく、収束速度が速い。
• ガウススムージングおよび球面スムージングは、同等の精度に到達するためには顕著に多くのサンプル（例：BSGではN = 4n）を必要とするが、高い確率で収束を保証できる。
• 最も優れたパフォーマンスを示した手法は適応的ステップサイズ手順を用いており、L-BFGSの探索方向は多くの場合、最急降下法を上回った。
• ランダムな直交方向を用いた補間は、強化学習タスクにおいて決定的有限差分法を上回った可能性があり、局所最小値からの脱出に優れているためと推測される。
• 線分探索は、特に補間およびスムージング手法において、手動でチューニングされた固定ステップサイズに比べてパフォーマンスを向上させた。
• 各手法について、有界ノイズ下で十分降下条件を満たすことを保証するサンプリング半径およびサンプル数の理論的バウンドを導出した。