[논문 리뷰] Image Augmentation Is All You Need: Regularizing Deep Reinforcement Learning from Pixels

Ilya Kostrikov, Denis Yarats외 1명|arXiv (Cornell University)|2020. 04. 28.

Domain Adaptation and Few-Shot Learning인용 수 171

한 줄 요약

DrQ는 데이터 정규화 Q를 도입한 간단한 픽셀 데이터 증강 프레임워크로, Q-함수와 가치(targets)를 규칙화하여 픽셀에서 직접 견고한 학습을 가능하게 하며, 모델-프리 RL로 DeepMind Control 및 Atari 100k에서 최첨단 성과를 달성합니다.

ABSTRACT

We propose a simple data augmentation technique that can be applied to standard model-free reinforcement learning algorithms, enabling robust learning directly from pixels without the need for auxiliary losses or pre-training. The approach leverages input perturbations commonly used in computer vision tasks to regularize the value function. Existing model-free approaches, such as Soft Actor-Critic (SAC), are not able to train deep networks effectively from image pixels. However, the addition of our augmentation method dramatically improves SAC's performance, enabling it to reach state-of-the-art performance on the DeepMind control suite, surpassing model-based (Dreamer, PlaNet, and SLAC) methods and recently proposed contrastive learning (CURL). Our approach can be combined with any model-free reinforcement learning algorithm, requiring only minor modifications. An implementation can be found at https://sites.google.com/view/data-regularized-q.

연구 동기 및 목표

• 이미지 관찰에서 보조 손실이나 사전 학습 없이 샘플-효율적 강화 학습을 직접 동기를 부여.
• 입력 교란과 가치-함수 규칙화가 픽셀에서의 오프-정책 RL에서 과적합을 줄이는지 보여주기.
• DrQ가 DeepMind control suite와 Atari 100k에서 최첨단 성능을 달성함을 입증.
• SAC 및 DQN과 짝지어 사용할 수 있는 실용적이고 알고리즘에 구애받지 않는 구현을 제공.

제안 방법

• 재생 버퍼에서 샘플링할 때만 관찰에 이미지 변환(무작위 이동)을 적용.
• 최적성-불변 상태 변환을 도입하여 변환된 상태가 같은 Q-값을 내도록 하여 Q-함수를 규칙화.
• 여러 증강 변환에 걸쳐 대상 Q-값을 집계하여 추정 분산을 줄임.
• 여러 증강에 걸쳐 Q-함수를 집계하여 학습(대상 및 온라인 Q)을 규칙화.
• DrQ에서 이 메커니즘을 결합하고 핵심 알고리즘을 바꾸지 않고 SAC 및 DQN과 같은 표준 오프-정책 액터-크리틱과 짝지음.

실험 결과

연구 질문

• RQ1 간단한 이미지 기반 증강이 Q-학습을 규칙화하여 픽셀에서 직접 효과적으로 학습할 수 있게 할 수 있는가?
• RQ2 최적성을 보존하는 상태 및 대상의 변환이 픽셀에서의 오프-정책 RL의 안정성과 데이터 효율성을 개선하는가?
• RQ3 DrQ가 DeepMind Control Suite와 Atari 100k에서 최첨단 모델-프리 및 모델-베이스 접근 방식에 비해 어떤 성능을 보이는가?
• RQ4 이 접근 방법이 작업과 하이퍼파라미터 설정에 걸쳐 견고하며 구현하기 쉬운가?

주요 결과

• 픽셀 증강을 사용한 DrQ가 DeepMind 제어 스위트에서 강력한 성능을 달성하고, 여러 모델 기반 및 대조 학습 방법을 능가한다.
• DrQ는 데이터 효율성을 개선하고 보조 손실이나 월드 모델 없이 내부 상태로 학습된 SAC와 종종 같거나 상회한다.
• Atari 100k에서, DrQ를 Efficient DQN과 결합하면 비교 가능한 방법들 중에서 새로운 최첨단 중앙값 성능을 기록한다.
• 이 방법은 구현이 간단하고 계산 부담이 거의 없으며 하이퍼 파라미터 설정에 대해 견고하다.
• DrQ는 DQN과 유사한 에이전트에도 적용 시 개선을 제공하여 액션 공간 전반에 걸친 광범위한 적용 가능성을 보여준다.