[論文レビュー] D2RL: Deep Dense Architectures in Reinforcement Learning

Samarth Sinha, Homanga Bharadhwaj+2 more|arXiv (Cornell University)|Oct 19, 2020

Reinforcement Learning in Robotics参考文献 36被引用数 13

ひとこと要約

本稿では、強化学習におけるサンプル効率を向上させるために、方策関数および価値関数ネットワークの複数層にわたる密なスキップ接続を用いる、深層密度アーキテクチャD2RLを提案する。本手法は、プロ prioceptiveおよび画像ベースの観測を用いた多様なロボット制御タスクにおいて一貫した性能向上を示し、標準的なMLPおよびResNetベースラインを上回る。特に、vanillaアーキテクチャが失敗するような深層ネットワークにおいて顕著な効果を示す。

ABSTRACT

While improvements in deep learning architectures have played a crucial role in improving the state of supervised and unsupervised learning in computer vision and natural language processing, neural network architecture choices for reinforcement learning remain relatively under-explored. We take inspiration from successful architectural choices in computer vision and generative modelling, and investigate the use of deeper networks and dense connections for reinforcement learning on a variety of simulated robotic learning benchmark environments. Our findings reveal that current methods benefit significantly from dense connections and deeper networks, across a suite of manipulation and locomotion tasks, for both proprioceptive and image-based observations. We hope that our results can serve as a strong baseline and further motivate future research into neural network architectures for reinforcement learning. The project website with code is at this link https://sites.google.com/view/d2rl/home.

研究の動機と目的

• 強化学習における方策関数および価値関数近似に用いられる深層ニューラルネットワークの性能劣化の要因を調査すること。
• 深層ネットワークを用いたDRLにおける最適化の悪化および性能の崩壊の問題に対処すること。
• 密な接続を通じてサンプル効率を向上させる一般化可能なアーキテクチャソリューションD2RLを提案すること。
• D2RLの有効性を、画像および身体感覚的観測を用いた多様なロボット制御環境において評価すること。
• 今後の深層強化学習におけるアーキテクチャ研究の強力なベースラインとしてD2RLを確立すること。

提案手法

• D2RLは、DenseNetおよびU-Netアーキテクチャにインspiredされた、各層が入力をすべての先行層の出力と連結する密なスキップ接続を採用する。
• 標準的なアクター・クリティックネットワークを、すべての層で特徴の再利用を可能にする密なアーキテクチャに置き換えることで、全結合層を変更する。
• SACやCURLなどのオフポリシー強化学習アルゴリズムに適用され、既存の学習フレームワークと互換性を保つ。
• 入力をすべての層を通過させるアイデンティティマッピングを用いることで、勾配の流れを確保し、深層ネットワークにおける勾配消失問題を軽減する。
• アーキテクチャの影響を明確に分離するために、ハイパーパramータを実験全体で一貫させる。MLPおよびResNetの変種と比較する。
• 本手法は、DM Control SuiteおよびOpenAI Gymの環境で、画像および状態ベースの観測を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの深さを増すと、強化学習における方策および価値関数の性能にどのような影響を与えるか？
• RQ2 密な接続は、DRLに用いられる深層ネットワークにおける性能劣化を緩和できるか？
• RQ3 D2RLアーキテクチャは、標準的なMLPおよびResNetベースのネットワークと比較して、サンプル効率を向上させるか？
• RQ4 D2RLの利点は、観測モodal（画像対身体感覚的）および強化学習アルゴリズムの種別にわたり一貫しているか？
• RQ5 D2RLを方策ネットワークに適用するのと、価値ネットワークに適用するのとで、それぞれの相対的寄与度はどの程度か？

主な発見

• D2RLは連続制御タスクにおけるサンプル効率を顕著に向上させ、高い性能に到達するための環境インタラクション回数を削減する。
• D2RLは、すべての評価タスクにおいて、vanilla MLPおよびResNetベースのネットワークを上回る。特に、vanillaネットワークが失敗するような深層アーキテクチャにおいて顕著な優位性を示す。
• 方策ネットワークおよびQ値ネットワークの両方にD2RLを適用した場合が最高の性能を示し、方策ネットワーク単体よりも価値ネットワークのパラメータ化による相対的向上が顕著である。
• より深いD2RLネットワーク（例：8層）は、浅いもの（4層）とほぼ同等の性能を示すが、vanilla MLPとは対照的に、深さの増加に伴い性能が低下しない。
• アブレーションスタディにより、密接な接続がDRLにおける深層ネットワークの性能崩壊問題を効果的に緩和することが確認された。
• 結果から、密接な接続のようなアーキテクチャのインダクティブバイアスが、DRLにおける一般化および最適化の向上に不可欠であることが示された。