[論文レビュー] Online Hyper-parameter Tuning in Off-policy Learning via Evolutionary Strategies

Yunhao Tang, Krzysztof Choromański|arXiv (Cornell University)|Jun 13, 2020

Reinforcement Learning in Robotics参考文献 38被引用数 5

ひとこと要約

本稿では、進化的戦略を用いてオフポリシー強化学習におけるハイパーパramータのリアルタイム適応を可能にする、オンラインハイパーパramータチューニング・アプローチ（OHT-ES）を提案する。訓練中にnステップリターンや学習率といった主要なハイパーパrameterを進化的戦略で最適化することにより、OHT-ESは多様な連続的制御ベンチマークにおいて、静的ハイパーパramータや先行手法を上回る一貫した性能向上を達成する。

ABSTRACT

Off-policy learning algorithms have been known to be sensitive to the choice of hyper-parameters. However, unlike near on-policy algorithms for which hyper-parameters could be optimized via e.g. meta-gradients, similar techniques could not be straightforwardly applied to off-policy learning. In this work, we propose a framework which entails the application of Evolutionary Strategies to online hyper-parameter tuning in off-policy learning. Our formulation draws close connections to meta-gradients and leverages the strengths of black-box optimization with relatively low-dimensional search spaces. We show that our method outperforms state-of-the-art off-policy learning baselines with static hyper-parameters and recent prior work over a wide range of continuous control benchmarks.

研究の動機と目的

• オフポリシー強化学習におけるハイパーパramータ選択への不安定さと感受性を解消すること。
• メタ勾配法が適用できないオフポリシーアルゴリズムにおける、オンラインでリアルタイムにハイパーパramータを適応させる手法を開発すること。
• オフポリシー設定における低次元でブラックボックスなハイパーパramータ最適化に、進化的戦略の長所を活用すること。
• nステップリターンや学習率といったハイパーパramータを訓練中に動的に適応させることで、サンプル効率と訓練安定性を向上させること。
• 静的ハイパーパramータや先行の適応的ベースラインと比較して、多様な連続的制御環境で一貫した性能向上を示すこと。

提案手法

• 本手法は、訓練中にnステップリターンや学習率といったハイパーパramータをリアルタイムで最適化するために進化的戦略（ES）を用いる。
• ハイパーパramータは、効率的なESベースの最適化を可能にするコンactな探索空間内のチューナブル変数として扱われる。
• 本フレームワークは、下位のオフポリシーアルゴリズムに依存しないため、TD3 や SAC といった既存のアルゴリズムと統合可能である。
• ESの更新は、環境からのパフォーマンスフィードバックに基づき、累積報酬から導出された代理目的関数を用いて実行される。
• 本手法は強化学習目的関数を逆伝播しないため、ベルマン誤差のような代理目的関数を有するアルゴリズムにも適用可能である。
• 本手法は離散的および連続的ハイパーパramータの両方をサポートしており、実験では主にnステップリターンと学習率に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 進化的戦略は、オフポリシー強化学習におけるオンラインハイパーパramータチューニングに効果的に適用可能か？
• RQ2 ESによるオンラインハイパーパramータ適応は、オフポリシーアルゴリズムにおいて静的ハイパーパramータを上回る一貫したパフォーマンス向上をもたらすか？
• RQ3 OHT-ESは、エンドツーエンドのESベースのポリシー最適化（ES-RL）と比較して、サンプル効率およびパフォーマンスで優れているか？
• RQ4 nステップリターンと学習率の適応が、連続的制御タスクにおける訓練安定性と最終的パフォーマンスに与える影響は何か？
• RQ5 OHT-ESは、多様なオフポリシーアルゴリズムとベンチマーク環境に一般化可能か？

主な発見

• OHT-ESは13のシミュレーテッドロケーションタスクにおいて、静的ハイパーパramータを用いたオフポリシーのベースラインを著しく上回り、平均値、中央値、最高値の各指標で性能向上が確認された。
• 初期段階の訓練では、n=5の適応的nステップリターンが最良のパフォーマンスを示したが、OHT-ESによるオンライン適応がこのベースラインを上回り、長期的な進捗も優れていた。
• OHT-ESでnステップチューニングを実施した場合、DMWalkerRunでは平均パフォーマンス757±7を達成し、静的TD3ベースライン（274±200）およびSAC（23±1）を上回った。
• Antタスクでは、OHT-ESでnステップチューニングを実施した結果2273±1107を達成したが、最もパフォーマンスの高かったベースライン（TD3）の3968±801を下回らず、強力なベースラインと同等またはそれを上回ることを示した。
• 学習率適応を用いたOHT-ESは、Antタスクで3526±1162を達成し、TD3ベースライン（3968±801）およびES-RLベースライン（2289±181）を上回った。
• HalfCheetahタスクでは、OHT-ESでnステップチューニングを実施した結果10758±397を達成し、最もパフォーマンスの高かったベースライン（SAC：11451±406）を上回った。これは、OHT-ESがタスク間で優れた一般化性能を示していることを示している。