[論文レビュー] Quantity vs. Quality: On Hyperparameter Optimization for Deep Reinforcement Learning

Lars Hertel, Pierre Baldi+1 more|arXiv (Cornell University)|Jul 29, 2020

Advanced Bandit Algorithms Research参考文献 34被引用数 4

ひとこと要約

この論文は深層強化学習におけるハイパーパramータ最適化を調査し、数を重視する手法（例：Successive Halving）と、繰り返し評価とベイズ最適化を用いた品質重視の手法を比較している。結果として、ノイズに強い獲得関数（qNEI）を用いたベイズ最適化が、他のすべての手法を上回ることを明らかにした。一方、Pruning や繰り返し評価は、異なる乱数シードにおいても性能向上をもたらさなかった。

ABSTRACT

Reinforcement learning algorithms can show strong variation in performance between training runs with different random seeds. In this paper we explore how this affects hyperparameter optimization when the goal is to find hyperparameter settings that perform well across random seeds. In particular, we benchmark whether it is better to explore a large quantity of hyperparameter settings via pruning of bad performers, or if it is better to aim for quality of collected results by using repetitions. For this we consider the Successive Halving, Random Search, and Bayesian Optimization algorithms, the latter two with and without repetitions. We apply these to tuning the PPO2 algorithm on the Cartpole balancing task and the Inverted Pendulum Swing-up task. We demonstrate that pruning may negatively affect the optimization and that repeated sampling does not help in finding hyperparameter settings that perform better across random seeds. From our experiments we conclude that Bayesian optimization with a noise robust acquisition function is the best choice for hyperparameter optimization in reinforcement learning tasks.

研究の動機と目的

• 深層強化学習におけるハイパーパramータ最適化が、多くの設定を探索する（量）ことを重視すべきか、それとも繰り返し評価によって測定の品質を高めるべきかを評価すること。
• 乱数シードによる性能のばらつきがハイパーパramータ選定および最適化の結果に与える影響を評価すること。
• 観測ノイズが高い状況下で、モデルフリーな手法（例：ランダムサーチやSuccessive Halving）とモデルベースのベイズ最適化のどちらがより効果的であるかを特定すること。
• ハイパーパramータ設定ごとに繰り返し評価を実施することで、乱数シードにわたるハイパーパramータ選定の頑健性が向上するかを調査すること。
• 深層強化学習のタスクにおいて、乱数シードにわたる一貫性のある性能を達成するための最適なハイパーパramータ最適化戦略を同定すること。

提案手法

• 不確実性をモデル化するため、特にqNEI（準ニュートン期待改善）を用いたノイズに強い獲得関数を備えたベイズ最適化を採用する。
• 4つの主要なハイパーパramータ最適化戦略を比較：ランダムサーチ、Successive Halving（ASHA）、期待改善（EI）および下位信頼区間（LCB）を用いたベイズ最適化（繰り返し評価あり・なしを含む）。
• PPO2を2つの連続的制御タスク（CartPoleバランス、逆ピストンスイングアップ）に適用し、ハイパーパramータとしてlog-学習率とlog-エントロピー係数を調整する。
• 各ハイパーパramータ設定に対して繰り返し評価（K=1, 3, 5）を実施し、真の期待報酬を推定し、15回のハイパーパramータ最適化ランの平均性能を算出する。
• 固定された計算予算を設定し、1回のランあたり25、50、100体のエージェントを評価し、最良の設定が得られた際の中央値および平均報酬を20回の訓練ランにわたって報告する。
• ボックスプロットと統計的要約を用いて、各手法およびタスク間での性能分布を比較分析する。

実験結果

リサーチクエスチョン

• RQ1 乱数シードに起因する高い分散がある状況下で、Successive Halvingによるハイパーパramータ設定のPruningは、ベイズ最適化を上回る性能を達成するか？
• RQ2 ハイパーパramータ設定ごとの繰り返し評価数を増やすことで、深層強化学習におけるハイパーパramータ選定の頑健性と正確性が向上するか？
• RQ3 乱数シードの変動による観測ノイズが生じる状況下で、ベイズ最適化における異なる獲得関数（例：EI 対 LCB 対 qNEI）の性能はどのように異なるか？
• RQ4 一般化性能を求める目的で、モデルフリーとモデルベースのハイパーパramータ最適化手法間に顕著な性能差が生じるか？
• RQ5 ベイズ最適化における繰り返し評価は、乱数シードにわたる平均報酬が高いハイパーパramータの選定を改善できるか？

主な発見

• ノイズに強いqNEI獲得関数（BoTorch-qNEI）を用いたベイズ最適化が、CartPoleおよび逆ピストンスイングアップの両タスクで最高の中央値および平均性能を達成した。
• 逆ピストンスイングアップタスクにおいて、BoTorch-qNEIは100回の評価後、平均報酬-387.3を達成し、GPyOpt-LCB（-442.4）およびRandom Search x5（-444.6）を顕著に上回った。
• 計算予算を同一にした場合、1回評価のランダムサーチが3回または5回繰り返し評価を行うランダムサーチを上回った。これは、繰り返し評価が性能向上に寄与しないことを示している。
• Successive Halving（ASHA）はベイズ最適化を上回らず、特に高い分散下で一貫性のない性能を示した。
• 繰り返し評価はベイズ最適化の性能向上に寄与しなかった。GPyOpt-EI x3およびGPyOpt-LCB x3は、単一評価版と比較して優位性を示さなかった。
• BoTorch-qNEIの結果分布は、50回および100回の評価後、他の手法と比較して一貫して優れており、重複が少なく、頑健性と信頼性を示している。