[論文レビュー] From Complexity to Simplicity: Adaptive ES-Active Subspaces for Blackbox Optimization

Krzysztof Choromański, Aldo Pacchiano+2 more|arXiv (Cornell University)|Mar 7, 2019

Advanced Bandit Algorithms Research被引用数 9

ひとこと要約

本稿では、アクティブサブスぺースと圧縮センシングを用いて最適なセンシング方向を動的に学習する、ブラックボックス最適化のための新規な適応的進化的戦略ASEBOを提案する。高次元関数の内在次元性と幾何構造に継続的に適応することで、外部の教師なし条件下でも最先端の手法に比べて優れたサンプル効率を達成し、強化学習およびベンチマーク最適化タスクにおけるクエリ回数を削減する。

ABSTRACT

We present a new algorithm ASEBO for optimizing high-dimensional blackbox functions. ASEBO adapts to the geometry of the function and learns optimal sets of sensing directions, which are used to probe it, on-the-fly. It addresses the exploration-exploitation trade-off of blackbox optimization with expensive blackbox queries by continuously learning the bias of the lower-dimensional model used to approximate gradients of smoothings of the function via compressed sensing and contextual bandits methods. To obtain this model, it leverages techniques from the emerging theory of active subspaces in the novel ES blackbox optimization context. As a result, ASEBO learns the dynamically changing intrinsic dimensionality of the gradient space and adapts to the hardness of different stages of the optimization without external supervision. Consequently, it leads to more sample-efficient blackbox optimization than state-of-the-art algorithms. We provide theoretical results and test ASEBO advantages over other methods empirically by evaluating it on the set of reinforcement learning policy optimization tasks as well as functions from the recently open-sourced Nevergrad library.

研究の動機と目的

• 関数評価が高価な高次元設定におけるブラックボックス最適化の高いサンプル複雑性に対処すること。
• 進化的戦略における固定方向または固定次元性手法の限界を克服し、関数の幾何構造に動的に適応可能にする。
• 圧縮センシングとコンテキストバンドイットを用いたオンラインでの勾配近似バイアス学習により、勾配なし最適化における探索と活用のバランスを改善すること。
• 非MDPおよび非微分可能タスクを含む多様なブラックボックス関数に対して、頑健でサンプル効率の高い最適化を可能にすること。
• 最適なセンシング部分空間を実行時に学習することで、手動によるハイパーパrameterチューニングへの依存を低減すること。

提案手法

• ASEBOはアクティブサブスぺース理論を活用し、関数の変動が最も顕著な低次元部分空間を特定することで、効率的な勾配近似を可能にする。
• 圧縮センシングを用いて、適応的センシング方向に沿ったランダムプロジェクションから、平滑化されたブラックボックス関数の勾配を推定する。
• 文脈バンドイットを用いて、過去のパフォーマンスに基づき、探索と活用をバランスさせるように動的にセンシング方向を選択する。
• 最適化中に、勾配空間の低次元モデルを継続的に更新し、関数の幾何構造の内在次元性を学習する。
• 勾配が強い部分空間（アクティブサブスぺース）とその直交補空間を別々に推定し、集中不等式を用いてロバストネスを保証する。
• 観測された信号強度に基づき、固定または事前に指定された部分空間ではなく、動的にセンシング方向の数を調整する。

実験結果

リサーチクエスチョン

• RQ1 アクティブサブスぺースは、高次元ブラックボックス最適化におけるサンプル効率を向上させるために、進化的戦略に効果的に統合可能か？
• RQ2 事前知識なしに最適化中にブラックボックス関数の内在次元性を動的に学習できるか？
• RQ3 圧縮センシングとコンテキストバンドイットは、勾配なし最適化における勾配近似をどの程度向上できるか？
• RQ4 ASEBOは、固定ハイパーパrameterを持つガイド付きES手法やCMA-ESの変種に比べ、多様な最適化タスクにおいてクエリ効率が優れているか？
• RQ5 構造的仮定を必要とせず、非MDPおよび非微分可能なブラックボックス関数に一般化可能か？

主な発見

• 強化学習のポリシー最適化タスクにおいて、ASEBOは最先端の手法に比べて顕著に少ないクエリ回数を達成し、優れたサンプル効率を示した。
• アルゴリズムは勾配空間の内在次元性を動的に学習し、最適化段階に応じた関数複雑性の変化に適応した。
• Nevergradベンチマークライブラリにおける実験的結果から、CMA-ES、ARS、および他のガイド付きES変種よりも一貫したパフォーマンス向上が確認された。
• 最適なセンシング方向を実行時に学習することで、固定バッファ長や固定部分空間を有する手法に比べ、ハイパーパrameterチューニングへの依存を低減した。
• 理論的分析により、ASEBOの勾配近似誤差は高確率で有界であることが確認され、そのロバストネスと収束性を裏付けた。
• 圧縮センシングとコンテキストバンドイットは、特に高次元および滑らかでない領域において、効果的な探索と活用のトレードオフを実現した。