[論文レビュー] Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning

Guozheng Ma, Linrui Zhang+7 more|arXiv (Cornell University)|May 25, 2023

Advanced Fluorescence Microscopy Techniques被引用数 10

ひとこと要約

この論文は視覚的 RL のデータ拡張属性を分析し、Rand PRと Cycling Augmentationを導入し、RLアルゴリズムを変更せずに DM Control と CARLA で卓越したサンプル効率を達成する。

ABSTRACT

Data augmentation (DA) is a crucial technique for enhancing the sample efficiency of visual reinforcement learning (RL) algorithms. Notably, employing simple observation transformations alone can yield outstanding performance without extra auxiliary representation tasks or pre-trained encoders. However, it remains unclear which attributes of DA account for its effectiveness in achieving sample-efficient visual RL. To investigate this issue and further explore the potential of DA, this work conducts comprehensive experiments to assess the impact of DA's attributes on its efficacy and provides the following insights and improvements: (1) For individual DA operations, we reveal that both ample spatial diversity and slight hardness are indispensable. Building on this finding, we introduce Random PadResize (Rand PR), a new DA operation that offers abundant spatial diversity with minimal hardness. (2) For multi-type DA fusion schemes, the increased DA hardness and unstable data distribution result in the current fusion schemes being unable to achieve higher sample efficiency than their corresponding individual operations. Taking the non-stationary nature of RL into account, we propose a RL-tailored multi-type DA fusion scheme called Cycling Augmentation (CycAug), which performs periodic cycles of different DA operations to increase type diversity while maintaining data distribution consistency. Extensive evaluations on the DeepMind Control suite and CARLA driving simulator demonstrate that our methods achieve superior sample efficiency compared with the prior state-of-the-art methods.

研究の動機と目的

• 視覚的RLにおいて、データ拡張属性（難易度と多様性）がサンプル効率的な学習を推進するかを調査する。
• RL設定における既存のマルチタイプ拡張統合スキームの限界を特定する。
• 情報保持と空間的多様性のバランスを取る拡張デザインを提案する。
• 訓練中のデータ分布の安定性を維持するRL向け融合戦略を開発する。

提案手法

• 制御されたアブレーションを通じて視覚的RLにおけるDAの難易度と多様性を分析する。
• augmentation hardnessを低く保ちつつ空間的多様性を最大化する Random PadResize (Rand PR) を提案する。
• CycAug, RL向けに設計されたマルチタイプDA融合で、異なる拡張を循環させてデータ分布の安定性を維持する。
• DrQ-V2ベースのパイプラインに Rand PR を統合し、DM ControlとCARLAで評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚的RLにおいて、データ拡張属性（難易度、強度の多様性、空間的多様性、タイプの多様性）のどれがサンプル効率に最も影響を与えるか？
• RQ2 RL固有の融合戦略は一般的なマルチタイプDA融合スキームを上回ることができるか？
• RQ3 Rand PRと Cycling Augmentation は DM Control や CARLA のようなドメインでサンプル効率の明確な向上をもたらすか？
• RQ4 データ分布の安定性を制御することは、マルチタイプDAを使用する際の訓練パフォーマンスにどう影響するか？
• RQ5 DA設計が難易度の高いRLタスクにおける訓練安定性と最終性能に与える影響は何か？

主な発見

• 低い augmentation hardness と高い空間的多様性が、視覚的RLにおける効果的なDAの鍵である。
• 強度の多様性を無制限にすると難易度が増大し、性能が低下する可能性がある。
• CV由来のマルチタイプDA融合スキームをナイーブに適用すると、RLのサンプル効率が低下する可能性がある。
• Rand PRは多様性がありつつ低難易度の拡張を提供する。CycAugは複数のDAを循環的に適用して安定性とサンプル効率を向上させる。
• CycAugと Rand PR の組み合わせは DM Control のタスクで最先端の効率を達成し、CARLA において前例のSOTAを上回る特にデータが少ない状況で優位性を示す。