[論文レビュー] A Simple Randomization Technique for Generalization in Deep Reinforcement Learning

Kimin Lee, Kibok Lee+2 more|arXiv (Cornell University)|Oct 11, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、深層強化学習における多様な環境での一般化を向上させるために、入力観測値を摂動するための単純なランダム化技術を提案する。ランダム化された畳み込みニューラルネットワークを用い、ランダムな入力から堅牢で不変な特徴を学習し、モンテカルロ推論によって分散を低減することで、2D CoinRun、3D DeepMind Lab、ロボット制御タスクにおいて、正則化およびデータ拡張のベースラインを著しく上回る性能を達成する。

ABSTRACT

Deep reinforcement learning (RL) agents often fail to generalize to unseen environments (yet semantically similar to trained agents), particularly when they are trained on high-dimensional state spaces, such as images. In this paper, we propose a simple technique to improve a generalization ability of deep RL agents by introducing a randomized (convolutional) neural network that randomly perturbs input observations. It enables trained agents to adapt to new domains by learning robust features invariant across varied and randomized environments. Furthermore, we consider an inference method based on the Monte Carlo approximation to reduce the variance induced by this randomization. We demonstrate the superiority of our method across 2D CoinRun, 3D DeepMind Lab exploration and 3D robotics control tasks: it significantly outperforms various regularization and data augmentation methods for the same purpose.

研究の動機と目的

• 未観測だが意味的に類似した環境でテストされた際の深層強化学習エージェントの一般化性能の低さという課題に対処すること。
• 標準のRLエージェントがしばしば失敗するような、画像などの高次元観測空間におけるロバストネスの向上。
• 複雑なアーキテクチャの変更やハイパーパrameterチューニングを必要としない、最小限で効果的な一般化向上手法の開発。
• 推論中に生じる入力ランダム化に起因する分散をモンテカルロ近似を用いて低減すること。
• 2Dおよび3Dの制御タスクを含む多様な環境で一貫した性能向上を示すこと。

提案手法

• 入力観測値を処理する前に、ランダムで固定された変換（例：フィルタ、ノイズ）を適用するランダム化された畳み込みニューラルネットワーク層を導入する。
• 訓練時および推論時の両方でランダム化を適用することで、エージェントが入力摂動に対して不変な特徴を学習するよう促進する。
• 推論時にモンテカルロ近似を用いることで、確率的ランダム化に起因する分散を安定化させ、予測のばらつきを低減する。
• 標準のRLアルゴリズムを用いてエンドツーエンドでエージェントを訓練し、ランダム化ネットワークを特徴学習のロバスト性を促進する正則化子として活用する。
• ベースライン手法と同一のネットワークアーキテクチャおよび訓練手順を維持し、ランダム化層の追加のみを変更点とする。
• 画像ベースの2Dおよび3D環境を含む多様な環境に本手法を適用し、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 単純なランダム化畳み込み層は、多様な環境における深層強化学習エージェントの一般化性能を向上させることができるか？
• RQ2 本ランダム化技術は、標準の正則化およびデータ拡張手法と比較して、一般化性能において優れているか？
• RQ3 モンテカルロ近似を用いることで、入力ランダム化に起因する予測の分散が効果的に低減されるか？
• RQ4 本手法は、高次元の視覚的観測を持つ2Dおよび3D環境に一般化可能か？
• RQ5 本手法は、アーキテクチャの変更や追加のハイパーパrameterチューニングを伴わずに、未観測の環境でも性能を維持できるか？

主な発見

• 提案手法は、2D CoinRun環境における一般化性能において、標準の正則化およびデータ拡張手法を著しく上回る。
• 3D DeepMind Labの探索タスクでは、ベースラインと比較して高いサンプル効率と未観測レベルへのより優れた一般化性能を達成した。
• 3Dロボット制御タスクでは、ランダム化手法を用いて訓練されたエージェントが、新しい構成や環境に対してより効果的に一般化した。
• モンテカルロ推論手法により、ランダム化に起因する分散が効果的に低減され、テスト時の予測がより安定的かつ信頼性が高くなった。
• アーキテクチャの変更や追加のハイパーパrameterチューニングを必要とせず、ロバストネスが向上したため、広範な適用可能性を示した。
• 高次元の視覚的入力を有するすべての評価環境において、最先端の一般化性能を達成した。