[論文レビュー] Adaptive Sampling Quasi-Newton Methods for Derivative-Free Stochastic Optimization

Raghu Bollapragada, Stefan M. Wild|arXiv (Cornell University)|Oct 29, 2019

Stochastic Gradient Optimization Techniques参考文献 17被引用数 6

ひとこと要約

本稿では、共通の確率的数列フレームワーク内での有限差分勾配推定を用いて、導出不能な確率的最適化のための適応的サンプリング準ニュートン法を提案する。固定サンプルの確率的勾配法と比較して、収束効率と安定性を向上させるために、動的サンプルサイズ調整を可能にする修正されたノルムおよび内積準ニュートンテストを導入している。数値結果により、非線形最小二乗問題において優れた性能を示している。

ABSTRACT

We consider stochastic zero-order optimization problems, which arise in settings from simulation optimization to reinforcement learning. We propose an adaptive sampling quasi-Newton method where we estimate the gradients of a stochastic function using finite differences within a common random number framework. We employ modified versions of a norm test and an inner product quasi-Newton test to control the sample sizes used in the stochastic approximations. We provide preliminary numerical experiments to illustrate potential performance benefits of the proposed method.

研究の動機と目的

• 勾配情報が入手できないが関数評価のみが可能な導出不能な確率的最適化問題に対処すること。
• 有限差分勾配近似における推定精度と計算コストのバランスを取る適応的サンプリング戦略を開発すること。
• 既存のサブサンプル準ニュートン法をゼロオーダー設定に拡張するために、有限差分推定器と併用可能な収束テストを修正すること。
• 誤差境界と準ニュートン条件に基づく動的サンプルサイズ調整により、確率的最適化における収束効率と安定性を向上させること。
• 制御されたノイズを伴う確率的非線形最小二乗問題において、提案手法の有効性を示すこと。

提案手法

• 共通の確率的数列（CRN）フレームワーク内での前進有限差分を用いて勾配を推定する：$\nabla F^{\textrm{FD}}_{S_k}(x_k) = \frac{1}{|S_k|} \sum_{\zeta_i \in S_k} \frac{f(x_k + \nu e_j, \zeta_i) - f(x_k, \zeta_i)}{\nu}$。
• 有限差分ノルムテストを提案する：$\frac{\frac{1}{|S_k^v|-1} \sum_{\zeta_i \in S_k^v} \|\nabla F_i^{\textrm{FD}}(x_k) - \nabla F_{S_k}^{\textrm{FD}}(x_k)\|^2}{|S_k|} \leq \theta^2 \|\nabla F_{S_k}^{\textrm{FD}}(x_k)\|^2$、勾配推定の分散を制御する。
• 内積準ニュートンテストを導入する：$\mathbb{E}[ (H_k \nabla F_{S_k}^{\textrm{FD}}(x_k))^T (H_k \nabla F(x_k)) ] > 0$、有限差分設定に適応させることで準ニュートン方向の質を保証する。
• ヒューリスティックなステップサイズルールを採用する：$\hat{\alpha}_k = \left(1 + \frac{\operatorname{Var}_{\zeta_i \in S_k^v}(\nabla F_i^{\textrm{FD}}(x_k))}{|S_k| \|\nabla F_{S_k}^{\textrm{FD}}(x_k)\|^2} \right)^{-1}$、収束の安定化を図る。
• 安定な準ニュートン更新を実現するため、同一のサンプル集合上で$y_k = \nabla F_{S_k}^{\textrm{FD}}(x_{k+1}) - \nabla F_{S_k}^{\textrm{FD}}(x_k)$を計算し、$y_k^T s_k \leq \beta \|s_k\|^2$ となる場合は更新をスキップする（$\beta = 10^{-2}$）。
• L-BFGSを用い、限られたメモリと提案されたテストに基づく適応的サンプルサイズ選択を組み合わせ、精度と効率のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 有限差分勾配推定に基づく適応的サンプリング戦略は、導出不能な確率的最適化における収束を改善できるか？
• RQ2 有限差分近似誤差が存在する状況下で、修正されたノルムおよび内積テストのサンプルサイズ制御性能はいかがなものか？
• RQ3 これらのテストを用いた動的サンプルサイズ調整は、固定サンプルの確率的勾配法と比較して、より速い収束とより優れた安定性をもたらすか？
• RQ4 提案手法は、ゼロオーダー設定において標準的確率的勾配法よりも優れた収束近傍に到達できるか？
• RQ5 実装上において、ノルムテストと内積準ニュートンテストの相対的性能はどのようになるか？

主な発見

• 提案された適応的サンプリング準ニュートン法（FD-NormおよびFD-IPQN）は、チェビシェフ問題における関数評価効率の面で、チューニング済みの有限差分確率的勾配法を上回った。
• 提案手法の両バージョンとも、固定サンプルの確率的勾配法と比較して、最適解の著しく小さい近傍に収束した。
• 数値実験では、ノルムテストと内積準ニュートンテストの間で顕著な性能差は観察されなかった。
• 確率的勾配法は、固定サンプルサイズと適応的制御の欠如により、同等の誤差水準に到達するための関数評価回数が多かった。
• 適応的サンプリング戦略は、推定誤差と計算コストのバランスを効果的にとらせており、より少ない総関数評価回数で収束を達成した。
• ノイズレベル（$\sigma = 10^{-3}$および$\sigma = 10^{-5}$）の変化に対しても、本手法は一貫した性能向上を示し、ロバスト性を示した。