[論文レビュー] A Comprehensive Survey of Data Augmentation in Visual Reinforcement Learning

Guozheng Ma, Zhen Wang+4 more|arXiv (Cornell University)|Oct 10, 2022

Tactile and Sensory InteractionsNeuroscience被引用数 17

ひとこと要約

本調査は、視覚的強化学習（RL）におけるデータ拡張（DA）の統一されたフレームワークを提示し、拡張技術とRLとの統合を体系的に分類している。DMControl や Procgen といったベンチマークにおいて、DA がサンプル効率とゼロショット一般化を顕著に向上させることを示しており、対照的学習および補助タスクと組み合わせた際の実験的妥当性により、一貫したパフォーマンス向上が確認されている。

ABSTRACT

Visual reinforcement learning (RL), which makes decisions directly from high-dimensional visual inputs, has demonstrated significant potential in various domains. However, deploying visual RL techniques in the real world remains challenging due to their low sample efficiency and large generalization gaps. To tackle these obstacles, data augmentation (DA) has become a widely used technique in visual RL for acquiring sample-efficient and generalizable policies by diversifying the training data. This survey aims to provide a timely and essential review of DA techniques in visual RL in recognition of the thriving development in this field. In particular, we propose a unified framework for analyzing visual RL and understanding the role of DA in it. We then present a principled taxonomy of the existing augmentation techniques used in visual RL and conduct an in-depth discussion on how to better leverage augmented data in different scenarios. Moreover, we report a systematic empirical evaluation of DA-based techniques in visual RL and conclude by highlighting the directions for future research. As the first comprehensive survey of DA in visual RL, this work is expected to offer valuable guidance to this emerging field.

研究の動機と目的

• 視覚的RLにおける低サンプル効率と大きな一般化ギャップを解消するため、データ拡張（DA）技術を体系的にレビューすること。
• 視覚的RLを形式化し、DA の役割を分析するための統一的フレームワークとして、ハイパラメータ・コンテキスト付きMDP（HCMDP）を提唱すること。
• 視覚的RLにおけるDA手法の原理的分類体系を確立し、観測、遷移、トラジェクトリ、自動的拡張の4つに区別すること。
• 拡張データを暗黙的／明示的正則化および表現学習を介して効果的に活用する方法を調査すること。
• 未解決の課題と今後の方向性を特定すること。特に、意味レベルの拡張とRLにおけるDAの理論的基盤の構築を含む。

提案手法

• 視覚的RLを形式化し、サンプル効率と一般化の分析に役立てるため、ハイパラメータ・コンテキスト付きMDP（HCMDP）を提唱する。
• DA技術を観測レベル（幾何的、光沢的、ノイズ、画像混合、ランダムエラー）とDNNベース（特徴空間、敵対的、GANベース）の変換に分類する。
• 拡張データにおける時間的および環境的構造を保持するため、遷移およびトラジェクトリレベルの拡張を導入する。
• 探索または学習可能なポリシーを用いて、最適な拡張ポリシーを最適化する自動拡張戦略を提唱する。
• 環境固有の事前知識（例えば、背景の変動や物体の性質）に適応するコンテキストに配慮した拡張を導入する。
• 複数の学習パラダイムを用いて拡張データを活用する：暗黙的正則化、明示的補助タスク（一貫性、対照的学習、将来予測）、およびタスクに依存しない表現学習。

実験結果

リサーチクエスチョン

• RQ1 データ拡張を視覚的RLの枠組み内で体系的に分類・統合することはどのように可能か？
• RQ2 データ拡張が視覚的RLにおけるサンプル効率と一般化を向上させる主なメカニズムは何か？
• RQ3 標準的な視覚的RLベンチマークにおいて、幾何的拡張とGANベースの拡張といった異なる拡張戦略のパフォーマンスはどのように比較されるか？
• RQ4 対照的学習や将来予測といった補助タスクが、拡張データを活用する上で果たす役割は何か？
• RQ5 視覚的RLにおけるデータ拡張の理論的および実用的限界は何か。それらはどのように克服できるか？

主な発見

• DMControl-100k および DMControl-500k において、DA はサンプル効率を顕著に向上させ、複数のアルゴリズムで一貫した向上が確認された。
• Procgen においては、DA を用いた手法が、特にレベル一般化の条件下で強力なゼロショット一般化を達成しており、環境の事前知識を効果的に捉えている。
• DA を用いた対照的学習は、よりロバストで分離された表現を生成し、誤った特徴に依存するのを減らしてパフォーマンスを向上させた。
• 自動およびコンテキストに配慮した拡張は、背景の変動が顕著な DMControl-GB のような環境では、手動で設計された戦略を上回った。
• 実験的成功にもかかわらず、DA は推定の不確実性を増加させる場合もあり、RLの文脈におけるより良い理論的基盤の必要性を示唆している。
• DA を事前学習および補助タスクと統合すると、パフォーマンスが一貫して向上し、表現学習とポリシー最適化の間で相乗効果があることが示唆された。