[논문 리뷰] A Comprehensive Survey of Data Augmentation in Visual Reinforcement Learning

Guozheng Ma, Zhen Wang외 4명|arXiv (Cornell University)|2022. 10. 10.

Tactile and Sensory InteractionsNeuroscience인용 수 17

한 줄 요약

이 종합 검토는 시각적 강화학습(visual RL)에서 데이터 증강(Data Augmentation, DA)을 위한 통합 프레임워크를 제시하며, 증강 기법들을 체계적으로 분류하고 RL과의 통합 방식을 분석한다. DMControl 및 Procgen과 같은 벤치마크에서 DA가 표본 효율성과 제로샷 일반화 능력을 크게 향상시킴을 보여주며, 대조 학습 및 보조 과제와의 조합에서 일관된 성능 향상이 실험적으로 확인되었다.

ABSTRACT

Visual reinforcement learning (RL), which makes decisions directly from high-dimensional visual inputs, has demonstrated significant potential in various domains. However, deploying visual RL techniques in the real world remains challenging due to their low sample efficiency and large generalization gaps. To tackle these obstacles, data augmentation (DA) has become a widely used technique in visual RL for acquiring sample-efficient and generalizable policies by diversifying the training data. This survey aims to provide a timely and essential review of DA techniques in visual RL in recognition of the thriving development in this field. In particular, we propose a unified framework for analyzing visual RL and understanding the role of DA in it. We then present a principled taxonomy of the existing augmentation techniques used in visual RL and conduct an in-depth discussion on how to better leverage augmented data in different scenarios. Moreover, we report a systematic empirical evaluation of DA-based techniques in visual RL and conclude by highlighting the directions for future research. As the first comprehensive survey of DA in visual RL, this work is expected to offer valuable guidance to this emerging field.

연구 동기 및 목표

• 시각적 RL에서 낮은 표본 효율성과 큰 일반화 갭 문제를 해결하기 위해 데이터 증강(DA) 기법을 체계적으로 검토하는 것.
• 시각적 RL을 형식화하고 DA의 역할을 분석하기 위해 통합된 고차원적 맥락 기반 MDP(HCMDP) 프레임워크를 제안하는 것.
• 시각적 RL에서 DA 기법에 대한 원칙적인 분류 체계를 수립하여 관측, 전이, 궤적, 자동 증강으로 나누는 것.
• 증강된 데이터를 암시적/명시적 정규화 및 표현 학습을 통해 효과적으로 활용할 수 있는 방법을 탐구하는 것.
• 열린 과제와 향후 방향을 규명하며, 특히 의미 수준의 증강 및 DA의 이론적 기반을 포함한 것.

제안 방법

• 시각적 RL을 모델링하고 표본 효율성 및 일반화 능력을 분석하기 위해 고차원적 맥락 기반 MDP(HCMDP)를 공식적인 프레임워크로 제안한다.
• DA 기법을 관측 수준(기하학적, 광학적, 노이즈, 이미지 혼합, 무작위 삭제)과 DNN 기반(특징 공간, 적대적, GAN 기반) 변환으로 분류한다.
• 증강된 데이터에서 시간적 및 환경적 구조를 유지하기 위해 전이 수준 및 궤적 수준의 증강을 도입한다.
• 검색 또는 학습 가능한 정책을 활용해 증강 정책을 최적화하는 자동 증강 전략을 제안한다.
• 환경에 특화된 사전 지식(예: 배경 변화, 물체 특성 등)을 고려해 적응형 증강을 구현하는 컨텍스트 인식 증강을 제안한다.
• 증강된 데이터를 활용하기 위해 다수의 학습 철학을 적용한다: 암시적 정규화, 명시적 보조 과제(일致성, 대조 학습, 미래 예측), 그리고 과제에 관계없는 표현 학습.

실험 결과

연구 질문

• RQ1 데이터 증강은 어떻게 시각적 RL 프레임워크 내에서 체계적으로 분류되고 통합될 수 있는가?
• RQ2 데이터 증강이 시각적 RL에서 표본 효율성과 일반화 능력을 향상시키는 주요 메커니즘은 무엇인가?
• RQ3 표준 시각적 RL 벤치마크에서 다양한 증강 전략(예: 기하학적 대비 GAN 기반) 간의 성능 비교는 어떻게 이루어지는가?
• RQ4 대조 학습 및 미래 예측과 같은 보조 과제가 증강된 데이터를 효과적으로 활용하는 데 어떤 역할을 하는가?
• RQ5 시각적 RL에서 데이터 증강의 이론적 및 실용적 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• DMControl-100k 및 DMControl-500k에서 DA는 표본 효율성을 뚜렷이 향상시키며, 다양한 알고리즘 간 일관된 성능 향상이 관찰되었다.
• Procgen에서 DA 기반 방법은 환경 사전 지식을 효과적으로 반영함에 따라 특히 레벨 일반화 상황에서 강력한 제로샷 일반화 성능을 기록했다.
• DA와 함께 대조 학습을 적용할 경우 더 견고하고 분리된 표현을 얻을 수 있으며, 이는 부작위적 특징에 대한 의존도를 줄여 성능 향상에 기여한다.
• 자동 및 컨텍스트 인식 증강 전략은 배경 변화 등 알려진 도메인 이동이 있는 환경에서 수동으로 설계된 전략보다 뛰어난 성능을 보였다.
• 실증적 성공에도 불구하고 DA는 때로 추정치의 불확실성을 증가시킬 수 있으며, 이는 RL 환경에서 더 나은 이론적 기반 필요성을 시사한다.
• DA를 사전학습 및 보조 과제와 통합할 경우 성능 향상이 일관되게 관찰되어 표현 학습과 정책 최적화 간 상호보완적 이점이 있음을 시사한다.