[論文レビュー] Training Larger Networks for Deep Reinforcement Learning

Kei Ota, Devesh K. Jha+1 more|arXiv (Cornell University)|Feb 16, 2021

Reinforcement Learning in Robotics参考文献 48被引用数 10

ひとこと要約

本論文は、次状態予測の補助タスクを用いて強化学習（DRL）から表現学習を分離し、広いDenseNetアーキテクチャを採用して特徴の伝搬を向上させ、分散学習を活用してより多くのオンポリシー・データを収集することで、より大きなDRLエージェントを訓練する3段階の手法を提案する。このアプローチにより、非常に深く広いネットワークの安定した学習が可能となり、Ant-v2のような困難な連続的制御ベンチマークで顕著な性能向上が達成され、最先端の手法を上回る。

ABSTRACT

The success of deep learning in the computer vision and natural language processing communities can be attributed to training of very deep neural networks with millions or billions of parameters which can then be trained with massive amounts of data. However, similar trend has largely eluded training of deep reinforcement learning (RL) algorithms where larger networks do not lead to performance improvement. Previous work has shown that this is mostly due to instability during training of deep RL agents when using larger networks. In this paper, we make an attempt to understand and address training of larger networks for deep RL. We first show that naively increasing network capacity does not improve performance. Then, we propose a novel method that consists of 1) wider networks with DenseNet connection, 2) decoupling representation learning from training of RL, 3) a distributed training method to mitigate overfitting problems. Using this three-fold technique, we show that we can train very large networks that result in significant performance gains. We present several ablation studies to demonstrate the efficacy of the proposed method and some intuitive understanding of the reasons for performance gain. We show that our proposed method outperforms other baseline algorithms on several challenging locomotion tasks.

研究の動機と目的

• 深層強化学習におけるネットワークサイズの単純な拡大がもたらす不安定性と性能向上の欠如を解消すること。
• コンピュータビジョンや自然言語処理では成功を収めているにもかかわらず、なぜ大きなネットワークがDRLでは失敗するのかを理解すること。
• 非常に広く深く、スケーラブルなニューラルネットワークをDRLで安定して訓練するための方法を開発すること。
• ハイパーパramータチューニングだけでなく、アーキテクチャ的・訓練的変更によってDRLにおける性能向上を達成できることを示すこと。

提案手法

• 補助損失を用いて、次状態を予測する特徴抽出器（OFENet）を訓練することで、強化学習から表現学習を分離し、より豊かで情報量の多い特徴を生成する。
• 広い残差ブロックを用いたDenseNet風のアーキテクチャを採用し、層間での特徴の伝搬と情報の流れを強化する。
• Ape-Xに類似た分散学習フレームワークを採用し、大量のオンポリシー遷移を収集することで、過学習を低減し、一般化性能を向上させる。
• RLポリシーによる微調整の前に、自己教師学習の次状態予測タスクで表現ネットワーク（OFENet）を独立して事前学習する。
• 大規模で事前学習済みの特徴抽出器を標準のSACエージェントと組み合わせ、抽出された特徴をポリシーおよびQネットワークの入力として使用する。
• 有効ランク解析と損失関数の表面可視化を用いて、アーキテクチャ的選択が学習の安定性および性能に与える影響を解釈する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、教師あり学習では成功を収めるにもかかわらず、深層強化学習では大きなネットワークが性能向上をもたらさないのか？
• RQ2 表現学習を強化学習から分離することで、DRLにおける学習の安定性と性能が向上するか？
• RQ3 DenseNetアーキテクチャは、DRLにおけるより深く広いネットワークの学習にどのように寄与するか？
• RQ4 分散オンポリシー・データ収集は、大規模DRLネットワークにおける過学習をどの程度軽減できるか？
• RQ5 各コンポonent（表現学習、DenseNet、分散学習）が最終的な性能向上に果たす相対的寄与度はどの程度か？

主な発見

• 提案手法は、Ant-v2環境において標準のSACを顕著に上回り、ベースラインおよび最先端のアルゴリズムを上回る平均報酬を達成した。
• アブレーションスタディの結果、OFENet、DenseNet、分散学習の3つのコアコンポーネントのいずれかを除去すると、顕著な性能低下が生じ、それぞれの貢献度が確認された。
• アーキテクチャ的・訓練的変更なしに、より大きなネットワーク（1層あたり2048ユニット）を用いることで、性能が著しく低下することが確認され、ナチュラルスケーリングの不安定性が裏付けられた。
• OFENetコンポーネント単体でも、標準のRL訓練を上回る性能向上が達成されたことから、補助タスクによる事前学習の利点が示された。
• DenseNetアーキテクチャは、標準のMLPに比べて性能を向上させたことから、大規模ネットワークにおける強力な特徴伝搬の重要性が示された。
• 損失関数の表面可視化と有効ランク解析の結果、提案手法はより平坦で安定した損失の表面を形成しており、一般化性能の向上を支持する証拠が得られた。