[論文レビュー] Tuning Mixed Input Hyperparameters on the Fly for Efficient Population Based AutoRL

Jack Parker-Holder, Loc Nguyen+2 more|arXiv (Cornell University)|Jun 30, 2021

Neural Networks and Applications被引用数 4

ひとこと要約

本論文は、人口ベース強化学習における連続的およびカテゴリカルなハイパーパrameterを効率的に最適化できる、階層的で時変なバンディットアルゴリズムを提案する。データ拡張（カテゴリカル）と学習率（連続的）の間の依存関係をモデル化することで、理論的劣化がサブ線形であるという保証のもと、Procgenベンチマーク上で一般化性能が向上する。

ABSTRACT

Despite a series of recent successes in reinforcement learning (RL), many RL algorithms remain sensitive to hyperparameters. As such, there has recently been interest in the field of AutoRL, which seeks to automate design decisions to create more general algorithms. Recent work suggests that population based approaches may be effective AutoRL algorithms, by learning hyperparameter schedules on the fly. In particular, the PB2 algorithm is able to achieve strong performance in RL tasks by formulating online hyperparameter optimization as time varying GP-bandit problem, while also providing theoretical guarantees. However, PB2 is only designed to work for continuous hyperparameters, which severely limits its utility in practice. In this paper we introduce a new (provably) efficient hierarchical approach for optimizing both continuous and categorical variables, using a new time-varying bandit algorithm specifically designed for the population based training regime. We evaluate our approach on the challenging Procgen benchmark, where we show that explicitly modelling dependence between data augmentation and other hyperparameters improves generalization.

研究の動機と目的

• PB2が連続的ハイパーパrameterのみを最適化できるという制限を克服し、人口ベーストレーニングにおける連続的およびカテゴリカルなハイパーパrameterの効率的共同最適化を可能にすること。
• データ拡張（カテゴリカル）と学習率（連続的）のハイパーパラメータ間の依存関係を明示的にモデル化することで、強化学習における一般化性能を向上させること。
• 時間変動するハイパーパラメータスケジューリングをサポートする、理論的に効率的な階層的バンディットアルゴリズムを構築し、サブ線形劣化を保証すること。
• 挑戦的なProcgenベンチマークにそのアプローチをスケーリングし、ランダムサーチベースラインと比較して優れた性能を示すこと。

提案手法

• 人口ベーストレーニング環境において、連続的およびカテゴリカルなハイパーパラメータを両方サポートする、新しい時間変動型バッチ多腕バンディットアルゴリズムを導入する。
• カテゴリカルなハイパーパラメータを最初に選択し、その後にそのカテゴリに条件づけられた連続的ハイパーパラメータ最適化を行う階層的設計を提案する。
• 連続的、カテゴリカル、時間変動的成分を組み合わせた合成カーネル関数を用いる：$k_z = (1- heta)k_{\text{Continuous}}k_{\text{time1}} + \theta k_{\text{Categorical}}k_{\text{time2}}$、ここで$\theta$は混合割合を制御する。
• 構造化されたカーネルを用いたGP-banditフレームワークを採用し、ハイパーパラメータ間の相関関係をモデル化し、効率的な探索を可能にする。
• GPモデルの対数周辺尤度を逆伝播することでハイパーパラメータ最適化の勾配を導出する。
• PBTにおけるオンラインハイパーパラメータスケジューリングにこの手法を適用し、理論的劣化バウンドを伴いながらトレーニング中にリアルタイムで適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 時間変動型バンディットアルゴリズムは、人口ベース強化学習設定において、連続的およびカテゴリカルなハイパーパラメータを効率的に最適化できるか？
• RQ2 データ拡張（カテゴリカル）と学習率（連続的）のハイパーパラメータ間の依存関係を明示的にモデル化することで、強化学習における一般化性能が向上するか？
• RQ3 提案された階層的バンディットアプローチは、カテゴリカルおよび連続的変数を混合する状況でも、理論的に効率的であり、サブ線形劣化保証を持つと証明できるか？
• RQ4 この手法は、Procgenのような複雑なベンチマークにスケーリングできるか？また、サンプル効率および性能の面でランダムサーチベースラインと比較してどうなるか？

主な発見

• 提案手法はハイパーパラメータ最適化においてサブ線形劣化を達成し、PB2の理論的保証を混合ハイパーパラメータ空間に拡張した。
• データ拡張タイプと学習率の間の依存関係を明示的にモデル化することで、拡張タイプに対するランダムサーチと比較して、Procgenベンチマーク上で一般化性能が向上した。
• 階層的バンディットアプローチは、カテゴリカルおよび連続的ハイパーパラメータの相互作用を効果的に活用することで、標準PBTおよびPB2よりもサンプル効率が優れている。
• 実験的結果から、ハイパーパラメータスケジュールが拡張タイプを考慮している場合、多様なProcgen環境にわたってより良い一般化性能を示すことがわかった。