[論文レビュー] An Empirical Study on Hyperparameters and their Interdependence for RL Generalization

Xingyou Song, Yilun Du+1 more|arXiv (Cornell University)|Jun 2, 2019

Neural Networks and Applications参考文献 11被引用数 9

ひとこと要約

この論文は、深層強化学習（RL）におけるハイパーパrameterの相互依存性と一般化性能への影響を調査し、トレーニング-テスト勾配の整合性を分析するための主要指標として勾配コサイン類似度（GCS）を用いる。非単調なGCSパターンはしばしばテスト性能の不安定性や悪化を予測する。

ABSTRACT

Recent results in Reinforcement Learning (RL) have shown that agents with limited training environments are susceptible to a large amount of overfitting across many domains. A key challenge for RL generalization is to quantitatively explain the effects of changing parameters on testing performance. Such parameters include architecture, regularization, and RL-dependent variables such as discount factor and action stochasticity. We provide empirical results that show complex and interdependent relationships between hyperparameters and generalization. We further show that several empirical metrics such as gradient cosine similarity and trajectory-dependent metrics serve to provide intuition towards these results.

研究の動機と目的

• 個々のチューニングを超えて、深層RLにおけるハイパーパrameterが一般化性能に与える影響を理解すること。
• γ、確率的要因、正則化といったハイパーパrameterが一般化に与える影響が、直交しているか、それとも相互に依存しているかを調査すること。
• トレース依存指標（例：勾配コサイン類似度（GCS））が一般化失敗を予測する有用性を評価すること。
• GCSがRLにおける損失関数の滑らかさとトレーニング安定性の代理指標としての妥当性を評価すること。
• データ拡張と報酬関数の複雑さが、GCSが一般化予測に与える信頼性に与える影響を調査すること。

提案手法

• トレーニングとテストのMDPをパrameter θの分布からサンプリングすることで、RL一般化を教師あり学習のアナロジーとして形式化する。
• トレーニングとテストのポリシー勾配間の勾配コサイン類似度（GCS）を、勾配の整合性とランドスケープの滑らかさを評価する主な指標として用いる。
• バイアスを最小限に抑えるために、PPOおよびポリシー勾配アルゴリズムを、一貫したハイパーパrameter設定で用いる。
• 最適化ダイナミクスと安定性を分析するため、勾配ノルム、分散、ℓ₂重みノルムを測定する。
• 観測値にランダムな形状を追加するデータ拡張を適用し、勾配整合性に与える影響を分析する。
• CoinRunやRandomMazesなどの環境で、γと確率的要因を変化させ、それらの共同効果がテスト性能とGCSに与える影響を調査する。

実験結果

リサーチクエスチョン

• RQ1 γ、行動の確率的要因、正則化といったハイパーパrameterが、RL一般化に与える影響において、どのように相互に作用するか。
• RQ2 勾配コサイン類似度（GCS）が、RLにおけるテスト性能の不安定性をどれほど信頼できる予測指標として機能するか。
• RQ3 報酬関数の複雑さが高まると、GCSとテスト性能との相関性が低下するか。
• RQ4 確率的要因が、高いテスト性能を達成できるγの許容範囲にどのように影響を与えるか。
• RQ5 トレース依存指標（例：GCS）は、RLトレーニングにおける過学習や鋭い最小値の兆候を早期に検出できるか。

主な発見

• 多くのハイパーパrameterは互いに直交していない。あるハイパーパrameterの効果が、他のハイパーパrameterの単調性を逆転させたり、変化させたりすることがある。
• 非単調に減少するGCSパターンは、テスト性能の不安定性や性能の低下と強く相関しており、突然の失敗の前触れとなることがしばしばある。
• 確率的要因は収束前でさえも勾配ノルムを顕著に低減させ、より安定した最適化経路を示している。
• 悪いテスト性能をもたらす高いγ値は、エージェントが訓練分布に過学習していることを示しており、最適でないポリシーに収束している。
• 迷路のような複雑な環境では、確率的要因がγ値の高い範囲で高いテスト性能を達成可能にし、より良い探索と耐性を示している。
• 報酬関数がより複雑（例：多層CNN）になると、GCSは単調に減少するが、テスト性能との相関性を失う。これは、GCSが高複雑度下では常に信頼できるものではないことを示している。