[論文レビュー] Randomized Derivative-Free Optimization of Noisy Convex Functions

Ruobing Chen, Stefan M. Wild|arXiv (Cornell University)|Jul 13, 2015

Stochastic Gradient Optimization Techniques参考文献 19被引用数 4

ひとこと要約

本稿では、ノイズの多い凸関数に対するランダム化された導出フリー最適化手法 STARS を提案する。STARS は、真の方向微分とその近似値の誤差を最小化するために滑らかさのステップサイズを動的に調整し、ノイズに依存しない収束性を達成する。理論的保証としてネステロフ法と同等の収束性能を示し、実践的にも、加法的および乗法的ノイズの下で既存のゼロ階層手法を上回る性能を発揮する。

ABSTRACT

We propose STARS, a randomized derivative-free algorithm for unconstrained optimization when the function evaluations are contaminated with random noise. STARS takes dynamic, noise-adjusted smoothing step-sizes that minimize the least-squares error between the true directional derivative of a noisy function and its finite difference approximation. We provide a convergence rate analysis of STARS for solving convex problems with additive or multiplicative noise. Experimental results show that (1) STARS exhibits noise-invariant behavior with respect to different levels of stochastic noise; (2) the practical performance of STARS in terms of solution accuracy and convergence rate is significantly better than that indicated by the theoretical result; and (3) STARS outperforms a selection of randomized zero-order methods on both additive and multiplicative-noisy functions.

研究の動機と目的

• 目的関数の評価が確率的ノイズによって汚染され、かつ導出が利用できない状況における凸関数最適化の課題に対処すること。
• ノイズレベルに適応する動的ステップサイズ選択を用いて、ロバスト性と収束性を向上させる導出フリー手法の開発。
• やや弱い仮定の下で、加法的および乗法的ノイズモデルに対する理論的収束速度解析を提供すること。
• 実験を通じて、STARS が理論的上限が保守的である場合でも、既存のランダム化ゼロ階層手法よりも顕著に優れた解の精度と収束速度を示すことを実証すること。

提案手法

• STARS はガウスノイズを用いて有限差分法による方向微分の近似を実行し、動的に調整されたステップサイズを用いる。
• 滑らかさのステップサイズは、真の方向微分とその有限差分近似値の二乗誤差を最小化するように選択される。
• アルゴリズムは、ランダムな探索方向に沿ったノイズ付き関数評価に基づく確率的勾配フリー・オракルを用いて反復的に解を更新する。
• ステップサイズは、ノイズ推定値と局所的な関数変動に基づき、反復毎に適応的に変更され、加法的および乗法的ノイズの両方に対してロバストである。
• 計算ノイズ推定に関するモーレとワイルドの研究から得られる知見を統合し、ノイズ環境下でのステップサイズ選択を改善する。
• 収束解析は、凸性、Lipschitz連続勾配、および有界なノイズ分散という標準的仮定の下で実施され、滑らかな凸関数に対するネステロフ法の複雑度境界と一致する結果が得られる。

実験結果

リサーチクエスチョン

• RQ1 導出フリー最適化手法が、加法的および乗法的ノイズの両方に対してノイズに依存しない収束性を達成できるか？
• RQ2 ノイズに適応する動的ステップサイズ選択は、ノイズ環境下で固定またはヒューリスティックなステップサイズと比較して、性能をどのように向上させるか？
• RQ3 STARS の実践的性能は、理論的最悪ケース収束境界をどれほど上回るか？
• RQ4 加法的および乗法的ノイズ下で、STARS は SS、RSGF、RP、および (1+1)-ES といった既存のランダム化ゼロ階層手法と比較して、収束速度および解の精度の点でどの程度優れているか？
• RQ5 ノイズ構造の事前知識がなくても、STARS はさまざまなノイズレベルにおいて一貫した性能を維持できるか？

主な発見

• STARS はノイズに依存しない挙動を示し、加法的および乗法的ノイズのレベルが変化しても安定した収束性を維持する。
• STARS の実践的収束速度および解の精度は、理論的最悪ケース境界を顕著に上回っており、実世界での強力な性能を示している。
• STARS は、加法的および乗法的ノイズが存在するテスト問題において、SS、RSGF、RP、および (1+1)-ES すべてを収束速度および最終的な解の質の両面で上回る。
• 方向微分近似における二乗誤差を最小化するようにステップサイズを設定する動的ステップサイズ選択が、ノイズ耐性の鍵であることが判明した。
• 乗法的ノイズの場合、SS で固定ステップサイズをチューニングするのでは STARS の性能を再現できないため、動的適応の必要性が明確になった。
• 実験的結果から、STARS が滑らかな凸関数に対して、ノイズが存在する状況でもネステロフ法と同一の収束速度を達成することが確認された。