[論文レビュー] Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning

Aviral Kumar|arXiv (Cornell University)|Oct 27, 2020

Reinforcement Learning in Robotics参考文献 57被引用数 7

ひとこと要約

この論文は、価値ベースの深層強化学習における'暗黙のアンダーパrameter化'を特定し、ブートストラップを伴う勾配降下法がニューラルネットワーク特徴量の有効ランクを低下させ、モデルの表現力が低下し性能が劣化することを示している。著者らは、AtariおよびGymの環境においてこの現象を実証的に示し、特徴量のランク崩壊を特異値正則化によって制御することで、特にオフライン設定においてデータ効率の高い強化学習の性能が向上することを示している。

ABSTRACT

We identify an implicit under-parameterization phenomenon in value-based deep RL methods that use bootstrapping: when value functions, approximated using deep neural networks, are trained with gradient descent using iterated regression onto target values generated by previous instances of the value network, more gradient updates decrease the expressivity of the current value network. We characterize this loss of expressivity via a drop in the rank of the learned value network features, and show that this typically corresponds to a performance drop. We demonstrate this phenomenon on Atari and Gym benchmarks, in both offline and online RL settings. We formally analyze this phenomenon and show that it results from a pathological interaction between bootstrapping and gradient-based optimization. We further show that mitigating implicit under-parameterization by controlling rank collapse can improve performance.

研究の動機と目的

• ブートストラップを用いる価値ベースの深層強化学習手法に見られる、これまで説明のつかなかった最適化失敗を同定し、特徴づけること。
• ブートストラップ訓練における繰り返しの勾配更新が、価値ネットワーク特徴量の有効ランクを低下させ、表現力が低下することを示すこと。
• この暗黙のアンダーパラメータ化が、特にオフラインおよびオンライン強化学習におけるデータ再利用率が高い状況で、データ効率を制限することを示すこと。
• カーネルモデルおよび線形ネットワークモデルを用いて、ランク崩壊のメカニズムを形式的に分析すること。
• ランク崩壊を制御し、性能を向上させるシンプルな正則化手法を提案し、実証すること。

提案手法

• 著者らは、特異値分解を用いて深層Qネットワークの最終層の特徴量の有効ランクを分析している。
• 学習済み特徴量の表現力を定量化するため、有効ランク srankδ を導入している。
• 理論的分析では、カーネル回帰および深層線形ネットワークモデルを用い、ブートストラップと勾配降下法の組み合わせが病理的とされる暗黙の正則化を誘発することを示している。
• 自己学習の議論を展開し、TD誤差が非ゼロであっても、過去のネットワークバージョンから生成されたターゲットが特徴量ランクを低下させることを示している。
• 特徴量行列の特異値に正則化ペナルティを適用することで、トレーニング中にランク崩壊を防いでいる。
• 実験は、オンラインおよびオフライン強化学習設定の両方において、AtariおよびGymのベンチマークで実施され、現象の検証および是正戦略の有効性を検証している。

実験結果

リサーチクエスチョン

• RQ1 高容量のネットワークを備えながらも、なぜ価値ベースの深層強化学習手法は一般化に失敗するのか？
• RQ2 ブートストラップは勾配降下法とどのように作用し、深層Qネットワークの有効表現力の低下を引き起こすのか？
• RQ3 データ再利用率が高いデータ効率型およびオフライン強化学習設定で性能が低下するのは、何が原因か？
• RQ4 特徴量表現力の損失は、特異値の正則化によって定量化可能であり、是正可能か？
• RQ5 どのような条件下で深層強化学習のトレーニングダイナミクスにおいて暗黙のアンダーパラメータ化が現れるのか？

主な発見

• AtariおよびGymの環境において、トレーニング中に価値ネットワーク特徴量の有効ランクが急激に低下することが観測され、これは性能劣化の前触れとして一貫して確認された。
• 勾配更新回数が増えるほど、およびデータ再利用率が高いほど、この現象は顕著になる。特に、新しいデータが収集されないオフライン強化学習では顕著である。
• 理論的分析により、ブートストラップと勾配降下法の組み合わせが、特徴量ランクを低下させる病理的とされる暗黙の正則化を誘発することが確認された。
• オフライン強化学習では、暗黙のアンダーパラメータ化が一貫して現れ、標準的な価値ベース手法の有効性を制限する。
• 特異値正則化ペナルティを適用してランク崩壊を制御することで、Atari環境におけるオフラインDQNおよびSACで顕著な性能向上が得られた。
• 特にデータが乏しい設定において改善効果が顕著であり、暗黙のアンダーパラメータ化の制御がデータ効率を向上させることを示している。