[논문 리뷰] Mastering Visual Continuous Control: Improved Data-Augmented Reinforcement Learning

Denis Yarats, Rob Fergus외 2명|arXiv (Cornell University)|2021. 07. 20.

Reinforcement Learning in Robotics참고 문헌 43인용 수 67

한 줄 요약

DrQ-v2는 데이터 증강과 구조적 개선을 활용하여 이미지 기반 연속 제어를 위한 간단한 모델-프리 RL 알고리즘으로, 최첨단 샘플 효율성을 달성하고 픽셀로부터 휴먼모듀 보행을 가능하게 하며, 기존 방법에 비해 계산 비용이 크게 개선되었습니다.

ABSTRACT

We present DrQ-v2, a model-free reinforcement learning (RL) algorithm for visual continuous control. DrQ-v2 builds on DrQ, an off-policy actor-critic approach that uses data augmentation to learn directly from pixels. We introduce several improvements that yield state-of-the-art results on the DeepMind Control Suite. Notably, DrQ-v2 is able to solve complex humanoid locomotion tasks directly from pixel observations, previously unattained by model-free RL. DrQ-v2 is conceptually simple, easy to implement, and provides significantly better computational footprint compared to prior work, with the majority of tasks taking just 8 hours to train on a single GPU. Finally, we publicly release DrQ-v2's implementation to provide RL practitioners with a strong and computationally efficient baseline.

연구 동기 및 목표

• 시각적 연속 제어를 위한 샘플 효율적이고 계산 친화적인 모델-프리 알고리즘의 모티베이션 및 개발.
• 픽셀 관찰에서 더 어려운 작업을 해결하기 위해 알고리즘적 및 구현상의 refinements를 도입하여 DrQ를 개선.
• 학습 시간을 줄이면서 모델 기반 방법에 비해 경쟁력 있는 혹은 우수한 성능을 보여 주는지 입증.
• 연구자와 실무자를 위한 오픈 소스이고 실용적인 벤치마스라인 구현 제공

제안 방법

• 클리핑된 이중 Q-러닝을 위한 두 개의 Q-함수로 구성된 DDPG 기반의 배우-비판 네트워크 채택.
• 보상 전파를 가속하기 위해 n-step 보상을 도입.
• 픽셀 관찰에 대해 바일레인 보간을 사용한 무작위 시프트를 통한 데이터 증강 적용.
• 안정성과 성능을 위해 더 큰 재생 버퍼와 조정된 하이퍼파라미터(예: 더 작은 배치 크기, 더 작은 학습률) 사용.
• 처리량을 높이기 위한 그리드 샘플(grid_sample)을 이용한 더 빠른 이미지 증강 파이프라인 구현.
• 학습 중 탐색 노이즈 σ(t)를 감소시켜 탐색과 활용의 균형을 맞춤

실험 결과

연구 질문

• RQ1 모델-프리 알고리즘이 픽셀 관찰에서 직접 복잡한 휴먼모듀 보행을 해결할 수 있는가?
• RQ2 시각적 연속 제어에서 가장 좋은 샘플 효율성과 빠른 벽시계 학습을 달성하는 알고리즘적 변경 및 구현 최적화의 조합은 무엇인가?
• RQ3 DrQ-v2는 샘플 효율성 및 계산 요구 측면에서 모델 기반 방법과 어떻게 비교되는가?
• RQ4 이미지 기반 RL에서 성능 향상을 이끄는 핵심 요소(예: 재생 버퍼 크기, n-step 보상, 탐색 스케줄)는 무엇인가?
• RQ5 이 문제에 대한 연구를 민주화하는 간단하고 확장 가능한 시각 RL 벤치마크가 실현 가능한가?

주요 결과

• DrQ-v2는 DeepMind Control Suite의 쉽고 보통의 어려움 및 어려움 과제에서 샘플 효율성 면에서 이전의 모델-프리 방법들을 능가한다.
• DrQ-v2는 픽셀에서 휴먼모듀 보행 과제를 해결하며, 모델-프리 방법으로는 이전에 불가능했던 문제를 해결한다.
• DrQ-v2는 동일 하드웨어에서 이전 DrQ 구현 대비 벽시계 시간으로 약 3.5배 더 빠르게 학습하고, 환경 프레임 처리량(FPS)이 더 높다.
• DrQ-v2는 단일 NVIDIA V100 GPU에서 96 FPS에 도달할 수 있어 난이도에 따라 약 2.9–86시간 정도의 작업을 완료할 수 있다.
• Dreamer-v2(모델 기반)와 비교할 때 DrQ-v2는 여러 작업에서 벽시계 효율이 비슷하거나 더 나은 성능을 달성하지만, Dreamer-v2가 일부 작업에서 우수할 수 있다; 전반적으로 DrQ-v2가 더 빠르게 학습하는 경향이 더 높다.
• 절삭 실험(Ablations)은 DDPG 백본으로 전환하고 3-step 보상, 더 큰 재생 버퍼, 감소하는 탐색 스케줄을 적용하는 것이 성능을 크게 향상시킴을 보여준다.