[논문 리뷰] Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning

Guozheng Ma, Linrui Zhang외 7명|arXiv (Cornell University)|2023. 05. 25.

Advanced Fluorescence Microscopy Techniques인용 수 10

한 줄 요약

본 논문은 시각적 강화학습에서 데이터 증강 속성들을 분석하고 Rand PR과 CycAug를 도입하여 RL 알고리즘을 바꾸지 않고 DM Control과 CARLA에서 샘플 효율성을 향상시켰다.

ABSTRACT

Data augmentation (DA) is a crucial technique for enhancing the sample efficiency of visual reinforcement learning (RL) algorithms. Notably, employing simple observation transformations alone can yield outstanding performance without extra auxiliary representation tasks or pre-trained encoders. However, it remains unclear which attributes of DA account for its effectiveness in achieving sample-efficient visual RL. To investigate this issue and further explore the potential of DA, this work conducts comprehensive experiments to assess the impact of DA's attributes on its efficacy and provides the following insights and improvements: (1) For individual DA operations, we reveal that both ample spatial diversity and slight hardness are indispensable. Building on this finding, we introduce Random PadResize (Rand PR), a new DA operation that offers abundant spatial diversity with minimal hardness. (2) For multi-type DA fusion schemes, the increased DA hardness and unstable data distribution result in the current fusion schemes being unable to achieve higher sample efficiency than their corresponding individual operations. Taking the non-stationary nature of RL into account, we propose a RL-tailored multi-type DA fusion scheme called Cycling Augmentation (CycAug), which performs periodic cycles of different DA operations to increase type diversity while maintaining data distribution consistency. Extensive evaluations on the DeepMind Control suite and CARLA driving simulator demonstrate that our methods achieve superior sample efficiency compared with the prior state-of-the-art methods.

연구 동기 및 목표

• 데이터 증강 속성(난이도와 다양성)이 시각적 RL의 샘플 효율에 어떤 영향을 미치는지 조사한다.
• RL 환경에서 기존의 다형 다중 증강 융합 스킴의 한계를 식별한다.
• 정보 보존과 공간 다양성의 균형을 맞춘 증강 설계를 제안한다.
• 훈련 중 데이터 분포의 안정성을 유지하는 RL 친화적 융합 전략을 개발한다.

제안 방법

• 제어된 소거 실험을 통해 시각적 RL에서 DA의 난이도와 다양성을 분석한다.
• 증강 난이도를 낮게 유지하면서 공간적 다양성을 극대화하기 위해 Random PadResize (Rand PR)를 제안한다.
• 데이터 분포의 안정성을 유지하기 위해 서로 다른 증강 간에 순환하는 RL 맞춤형 다중 유형 DA 융합인 Cycling Augmentation (CycAug)을 개발한다.
• Rand PR을 DrQ-V2 기반 파이프라인에 통합하고 DM Control과 CARLA에서 평가한다.

실험 결과

연구 질문

• RQ1 시각적 RL에서 샘플 효율에 가장 영향을 미치는 DA 속성(난이도, 강도 다양성, 공간 다양성, 유형 다양성)은 무엇인가?
• RQ2 RL 특화 융합 전략이 일반적인 다중 유형 DA 융합 스킴보다 더 나은 성능을 낼 수 있는가?
• RQ3 Rand PR와 Cycling Augmentation이 DM Control과 CARLA와 같은 도메인에서 실제 샘플 효율성 향상을 제공하는가?
• RQ4 다중 유형 DA를 사용할 때 데이터 분포의 안정성 제어가 학습 성능에 어떤 영향을 미치는가?
• RQ5 도전적인 RL 과제에서 DA 설계가 학습 안정성과 최종 성능에 미치는 영향은 무엇인가?

주요 결과

• 낮은 증강 난이도와 높은 공간적 다양성은 시각적 RL에서 효과적인 DA에 매우 중요하다.
• 강도 다양성의 무제한성은 난이도 증가로 인해 성능에 해를 끼칠 수 있다.
• CV에서 다중 유형 DA 융합 스킴을 단순히 적용하는 것은 RL 샘플 효율을 떨어뜨릴 수 있다.
• Rand PR은 다양하지만 낮은 난이도의 증강을 제공하고; CycAug는 여러 DA를 순환 적용하여 안정성과 샘플 효율성을 향상시킨다.
• Rand PR과 함께하는 CycAug는 DM Control 과제에서 최첨단 효율을 달성하고 CARLA에서 이전 SOTA를 능가하며 특히 저데이터 구간에서 두드러진다.