[論文レビュー] Automatic Data Augmentation for Generalization in Reinforcement Learning

Roberta Răileanu, Maxwell Goldstein+3 more|arXiv (Cornell University)|May 4, 2021

Reinforcement Learning in Robotics参考文献 41被引用数 30

ひとこと要約

本論文は、多様な環境間での一般化を向上させるための深層強化学習における自動データ拡張手法を提案する。学習可能な拡張方針と、方策関数および価値関数に対する新しい正則化項を組み合わせることで、Procgenベンチマークにおいて相対的に40%の性能向上を達成し、新たなSOTAを樹立した。また、不要な環境的変化に対して不変な堅牢な方策を学習した。

ABSTRACT

Deep reinforcement learning (RL) agents often fail to generalize beyond their training environments. To alleviate this problem, recent work has proposed the use of data augmentation. However, different tasks tend to benefit from different types of augmentations and selecting the right one typically requires expert knowledge. In this paper, we introduce three approaches for automatically finding an effective augmentation for any RL task. These are combined with two novel regularization terms for the policy and value function, required to make the use of data augmentation theoretically sound for actor-critic algorithms. We evaluate our method on the Procgen benchmark which consists of 16 procedurally generated environments and show that it improves test performance by 40% relative to standard RL algorithms. Our approach also outperforms methods specifically designed to improve generalization in RL, thus setting a new state-of-the-art on Procgen. In addition, our agent learns policies and representations which are more robust to changes in the environment that are irrelevant for solving the task, such as the background.

研究の動機と目的

• さまざまな環境間での深層強化学習エージェントの一般化性能の低さに対処すること。
• エキスパートが設計したデータ拡張の必要性を排除し、任意のRLタスクに対して有効な拡張を自動で発見すること。
• データ拡張を用いる際のアクタ・クリティックアルゴリズムと整合性のある理論的裏付けのある正則化技術を開発すること。
• 背景の変化などの不要な環境的変化に対して方策のロバスト性を向上させること。
• 強化学習における一般化の分野で、Procgenベンチマークにおいて新たなSOTAを樹立すること。

提案手法

• 任意のRLタスクに対して有効なデータ拡張を自動で発見できる学習可能な拡張方針を導入する。
• アクタ・クリティックフレームワークで拡張データを使用する際の理論的整合性を保証するため、方策ネットワーク向けと価値関数向けの2つの新しい正則化項を提案する。
• 複数の環境におけるパフォーマンスに基づいて、拡張方針を最適化するためのメタラーニングアプローチを採用する。
• 勾配ベースの最適化が可能になるように、微分可能で拡張可能な探索空間を用いる。
• タスク固有のチューニングを必要とせず、学習時に学習済みの拡張を適用することで一般化性能を向上させる。
• プロシージャルに生成された16の異なるダイナミクスを持つ環境を備えたProcgenベンチマークを用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 エキスパートが設計した拡張を必要とせず、自動的データ拡張が深層強化学習における一般化を向上させられるか？
• RQ2 データ拡張をアクタ・クリティックアルゴリズムに理論的に整合的に統合する方法は何か？
• RQ3 自動拡張により、背景の変化などの不要な環境的変化に対してロバストな方策が得られるか？
• RQ4 この手法は、一般化を目的として設計された既存のSOTA手法を上回ることができるか？
• RQ5 提案された正則化項が、拡張を用いた強化学習訓練の安定性とパフォーマンスに与える影響は何か？

主な発見

• 提案手法は、Procgenベンチマークにおいて、標準的な深層強化学習アルゴリズムよりも相対的に40%のテストパフォーマンス向上を達成した。
• 本手法は、一般化を目的として設計された既存の手法を上回り、Procgenベンチマークで新たなSOTAを樹立した。
• 学習済みの方策は、背景の変化などの不要な環境的変化に対してよりロバストであることが示され、不変性学習の向上が裏付けられた。
• 2つの新しい正則化項の統合により、アクタ・クリティックアルゴリズムでデータ拡張を使用する際の安定的かつ理論的に整合性のある訓練が保証された。
• 自動拡張方針は、人為的介入なしに多様な環境において有効な拡張を効果的に発見できた。