[論文レビュー] A Dissection of Overfitting and Generalization in Continuous Reinforcement Learning

Amy Zhang, Nicolas Ballas+1 more|arXiv (Cornell University)|Jun 20, 2018

Reinforcement Learning in Robotics参考文献 11被引用数 93

ひとこと要約

本論文は、連続ドメインにおける深層強化学習の一般化と記憶化を研究し、シードベースとランダム化報酬のテストを導入し、十分な訓練多様性が模擬環境での一般化を可能にする一方で自然データはより大きな一般化の課題をもたらすことを示している。

ABSTRACT

The risks and perils of overfitting in machine learning are well known. However most of the treatment of this, including diagnostic tools and remedies, was developed for the supervised learning case. In this work, we aim to offer new perspectives on the characterization and prevention of overfitting in deep Reinforcement Learning (RL) methods, with a particular focus on continuous domains. We examine several aspects, such as how to define and diagnose overfitting in MDPs, and how to reduce risks by injecting sufficient training diversity. This work complements recent findings on the brittleness of deep RL methods and offers practical observations for RL researchers and practitioners.

研究の動機と目的

• 連続的なドメインにおける深層強化学習（RL）の過適合を動機づけ、特徴づける。
• RLにおける実用的な一般化の概念を定義する。タスク内およびタスク外のシナリオを含む。
• 記憶化を検出する診断テスト（シードのランダム化、報酬のランダム化、分布シフト）を開発する。
• 訓練の多様性がモデルフリーおよびモデルベースのRL手法の一般化に与える影響を調査する。
• RLポリシーの評価と頑健性の改善に向けた実用的なガイドラインを提供する。

提案手法

• 訓練シードとテストシードの観点で RL の一般化を定式化し、確率性の源を分離する。
• 限られたシード変動下での記憶化傾向を評価するためにランダム化報酬実験を用いる。
• 初期状態分布を拡張し、観測ノイズを注入することで一般化を評価する。
• 離散・連続アクション空間を横断して、モデルフリー（DQN/PPO）とモデルベースのRLアプローチを比較する。
• Cartpole、Acrobot、Reacher、Throwerといった一連の環境や自然画像ベースのタスクを適用して一般化を研究する。
• 再現性を確保するための実装とハイパーパラメータの詳細を提供する。

実験結果

リサーチクエスチョン

• RQ1 シード多様性は連続RLタスクにおける一般化と記憶化にどのような影響を与えるか？
• RQ2 ランダム化報酬は深層RLモデルの記憶化傾向を明らかにできるか、そしてシード数はこれにどう影響するか？
• RQ3 初期状態の分布シフトと観測ノイズは転移/一般化性能にどのように影響するか？
• RQ4 限られた訓練シード下でモデルベースRLアプローチは一般化を改善するか、それとも悪化させるか？
• RQ5 シミュレートされたドメインのタスクと自然画像に基づくタスクとの一般化挙動の違いは何か？

主な発見

• 訓練の多様性が限られていると、深層RLは単純なシミュレートタスクと自然画像ベースのタスクの双方で過学習する可能性がある。
• 訓練シード数を増やすと、連続アクションを含む場合でも、一般化が一般的に改善される。
• ランダム化報酬実験は、特に少数の訓練シード下で記憶化を明らかにするが、シード集合が大きいほど記憶化の影響は低減する。
• タスク外の一般化は訓練環境を増やすと改善されるが、ドメインシフト（初期状態と観測ノイズの増加）に伴い劣化する。
• モデルベースRLは限られたシード体制でバイアスを伝播または増幅する場合があり、いくつかの連続制御タスクで一般化が悪化する。
• 自然画像タスクは合成タスクより一般化ギャップが大きく、新しいベンチマークの必要性を浮き彫りにしている。