[論文レビュー] Learning to Guide Random Search

Ozan Şener, Vladlen Koltun|arXiv (Cornell University)|Apr 25, 2020

Advanced Bandit Algorithms Research参考文献 39被引用数 5

ひとこと要約

本論文は、目的関数の背後にある低次元多様体を発見・活用するように適応するニューラルネットワークを用いて、高次元の導出なし最適化におけるランダムサーチをガイドするオンライン多様体学習手法を提案する。多様体と最適化を同時に学習することで、従来の最先端のアルゴリズム（拡張ランダムサーチ、ベイズ最適化、CMA-ES）を凌駕する大幅なサンプル複雑性の低減を達成し、連続制御およびベンチマーク問題において優れた性能を示す。

ABSTRACT

We are interested in derivative-free optimization of high-dimensional functions. The sample complexity of existing methods is high and depends on problem dimensionality, unlike the dimensionality-independent rates of first-order methods. The recent success of deep learning suggests that many datasets lie on low-dimensional manifolds that can be represented by deep nonlinear models. We therefore consider derivative-free optimization of a high-dimensional function that lies on a latent low-dimensional manifold. We develop an online learning approach that learns this manifold while performing the optimization. In other words, we jointly learn the manifold and optimize the function. Our analysis suggests that the presented method significantly reduces sample complexity. We empirically evaluate the method on continuous optimization benchmarks and high-dimensional continuous control problems. Our method achieves significantly lower sample complexity than Augmented Random Search, Bayesian optimization, covariance matrix adaptation (CMA-ES), and other derivative-free optimization algorithms.

研究の動機と目的

• 次元数の増加に伴いスケーリングが著しく悪化する高次元問題における導出なし最適化（DFO）の高いサンプル複雑性を是正すること。
• 低次元の内在次元性を持つ高次元データが、DFOにおけるサンプル複雑性の低減に利用可能かどうかを検討すること。
• 事前に多様体の知識が不要な、適応的かつオンラインな手法を構築し、背後にある低次元多様体と最適化を同時に学習すること。
• 進化するニューラルネットワークで学習された多様体の接空間に探索方向を投影することで、ランダムサーチの効率を向上させること。
• 勾配が存在しない状況においても、一次の最適化手法と同様の次元に依存しない収束レートを達成すること。

提案手法

• 深層ニューラルネットワークを用いて、高次元探索空間内の低次元潜在多様体をパrameter化し、低次元空間での最適化を可能にする。
• ランダムサーチを学習済み多様体の接空間で動作させるように拡張し、勾配推定器の分散を低減するためにアンチシティックサンプリングを用いる。
• 関数評価を用いて多様体の接空間における勾配を推定し、勾配降下法にモーメンタムを適用して、オンライン学習手順で多様体パラメータを更新する。
• ハイパーパramータδ（摂動スケール）、k（多様体次元）、α（学習率）についてグリッドサーチを実施し、勾配の大きさが1e-6未満に下がった場合は再初期化を行う。
• Flaxmanら（2005）が提唱した滑らかな勾配推定器を、接空間における方向サンプリングにより多様体に適応させたものを利用する。
• 多様体アーキテクチャはReLU活性化関数を用いたマルチレイヤーパーセプトロンであり、d < 1000とd > 1000の両方の設定で異なる深さと幅の構成を採用する。

実験結果

リサーチクエスチョン

• RQ1 オンラインで学習する低次元多様体が、高次元問題における導出なし最適化のサンプル複雑性を低減できるか？
• RQ2 ニューラルネットワークベースの非線形多様体表現が、線形部分空間手法よりもDFOで優れた性能を発揮するか？
• RQ3 最適化と多様体学習を同時に実行することで、標準的なランダムサーチやベイズ最適化よりも高速に収束するか？
• RQ4 本手法は、多様な連続最適化ベンチマークおよび高次元制御タスクにおいてどのように性能を発揮するか？
• RQ5 本手法のサンプル複雑性は、一次の最適化手法と同様に、環境次元に依存しないか？

主な発見

• 本手法は、連続制御および最適化ベンチマークにおいて、拡張ランダムサーチ、ベイズ最適化、CMA-ES、および他のDFOベースラインと比較して、顕著に低いサンプル複雑性を達成する。
• 低次元の制約なし最適化スイート（d=10およびd=100の46問題）において、関数評価効率の観点で、すべてのベースラインを上回る性能を示す。
• MuJoCoの連続制御タスクにおいて、環境との相互作用回数を減らしながらも、ARS、CMA-ES、ベイズ最適化よりも高い報酬に収束する。
• エアフォイル形状最適化の実験では、ベースライン手法よりも少ない関数評価回数で、より優れた性能を持つ設計を発見する。
• 理論的分析により、問題の低内在次元性を活用することで、サンプル複雑性が低減されることを確認した。
• ノイズあり、非凸、非分離関数を含む多様な問題タイプにおいても、性能が安定しており、ロバストネスを示した。