[論文レビュー] Assessing Generalization in Deep Reinforcement Learning

Charles Packer, Katelyn Gao+4 more|arXiv (Cornell University)|Oct 29, 2018

Reinforcement Learning in Robotics参考文献 42被引用数 114

ひとこと要約

この論文は再現可能なベンチマークとディープRLにおける一般化を研究するプロトコルを提供し、Vanilla A2C/PPOを一般化に焦点を当てた手法（EPOpt, RL2）と比較し、多様な制御タスクにおける補間と外挿を横断する。

ABSTRACT

Deep reinforcement learning (RL) has achieved breakthrough results on many tasks, but agents often fail to generalize beyond the environment they were trained in. As a result, deep RL algorithms that promote generalization are receiving increasing attention. However, works in this area use a wide variety of tasks and experimental setups for evaluation. The literature lacks a controlled assessment of the merits of different generalization schemes. Our aim is to catalyze community-wide progress on generalization in deep RL. To this end, we present a benchmark and experimental protocol, and conduct a systematic empirical study. Our framework contains a diverse set of environments, our methodology covers both in-distribution and out-of-distribution generalization, and our evaluation includes deep RL algorithms that specifically tackle generalization. Our key finding is that `vanilla' deep RL algorithms generalize better than specialized schemes that were proposed specifically to tackle generalization.

研究の動機と目的

• 深層RLにおける制御可能で再現性のある一般化ベンチマークの必要性を動機づける。
• パラメータ変更を含む多様な制御タスク環境を導入する。
• 分布内/分布外 settings の下で、ヴァニラと一般化アルゴリズムを評価する。
• 解釈可能な一般化指標（デフォルト、補間、外挿）と公正な比較のためのベースラインを提供する。

提案手法

• 固定MDP形式と環境の分布を定義して補間と外挿を研究する。
• 6つの環境で制御パラメータの変化を十分に管理して、6つのアルゴリズムをベンチマークする（A2C, PPO, EPOpt-A2C, EPOpt-PPO, RL2-A2C, RL2-PPO）
• 2つのネットワークアーキテクチャ（FFとRC）を使用して一般化に対する表現の影響を研究する。
• 9つの訓練-テスト regime pair（D/R/E 訓練; D/R/E テスト）を用い、標準化されたエピソード数で訓練とテストを行う。
• 3つの一般化指標: デフォルト（DD）、補間（RR）、外挿（DR/DE/REの幾何平均）。
• 再現可能な実験プロトコルを提示、ハイパーパラメータのスイープと複数の種を含む。

実験結果

リサーチクエスチョン

• RQ1 未見の環境変動（補間）およびより過酷な変動（外挿）に対して、ヴァニラ深層RLエージェントはどれくらい一般化できるか？
• RQ2 専門的な一般化方式（EPOpt, RL2）はこれらのベンチマークでヴァニラアルゴリズムより優れているか？
• RQ3 アーキテクチャの選択（FF対RC）はタスク全体で一般化性能にどのような影響を与えるか？
• RQ4 頑健性/適応ベースの一般化が利点をもたらす条件や、訓練が失敗する条件はどのようなものか？

主な発見

アルゴリズム	アーキテクチャ	デフォルト	補間	外挿
A2C	FF	78.14 ± 6.07	76.63 ± 1.48	63.72 ± 2.08
A2C	RC	81.25 ± 3.48	72.22 ± 2.95	60.76 ± 2.80
PPO	FF	78.22 ± 1.53	70.57 ± 6.67	48.37 ± 3.21
PPO	RC	26.51 ± 9.71	41.03 ± 6.59	21.59 ± 10.08
EPOpt-A2C	FF	2.46 ± 2.86	7.68 ± 2.35	0.61 ± 2.35
EPOpt-A2C	RC	9.91 ± 1.12	20.89 ± 1.39	5.42 ± 0.24
EPOpt-PPO	FF	85.40 ± 8.05	85.15 ± 6.59	59.26 ± 5.81
EPOpt-PPO	RC	5.51 ± 5.74	15.40 ± 3.86	9.99 ± 7.39
RL 2 -A2C	RC	45.79 ± 6.67	46.32 ± 4.71	33.54 ± 4.64
RL 2 -PPO	RC	22.22 ± 4.46	29.93 ± 8.97	21.36 ± 4.41

• ヴァニラ A2C と PPO は、提案されたプロトコルの下で EPOpt および RL2 の相手よりも一般化することが多い。
• 外挿は、タスクとアルゴリズムを問わず、補間より一貫して難しい。
• 環境分布の訓練は補間性能を向上させるが、外挿は依然として難しい。
• EPOpt は連続-action タスク（例： Hopper、Pendulum、HalfCheetah）で PPO より一般化を改善するが、全ての環境や A2C では一様にはそうでない。
• RL2 バリアントは訓練が難しく、同じリソース下で一般的にヴァニラベースラインを下回った。
• RC（再帰型）アーキテクチャは PPO の性能に影響を与え、固定環境設定では訓練を妨げる可能性があり、アーキテクチャとアルゴリズムの相互作用を強調する。