[논문 리뷰] Task-Agnostic Dynamics Priors for Deep Reinforcement Learning

Yilun Du, Karthik Narasimhan|arXiv (Cornell University)|2019. 05. 13.

Reinforcement Learning in Robotics참고 문헌 38인용 수 10

한 줄 요약

이 논문은 모델 기반 딥 강화 학습에서 샘플 효율성과 일반화 능력을 향상시키기 위해 비디오 데이터에서 작업에 종속되지 않는 역학 사전 지식을 학습하기 위해 새로운 공간 메모리 아키텍처(SpatialNet)를 제안한다. 다양한 물리 영상에서 프레임 예측 모델을 사전 훈련한 후 목표 작업에서 미세 조정함으로써, 더 빠른 정책 학습과 향상된 성능을 달성한다. 이 방법은 기준선 대비 PhysShooter에서 최대 130% 높은 성능, Asteroids에서는 56.5% 높은 성능을 기록한다.

ABSTRACT

While model-based deep reinforcement learning (RL) holds great promise for sample efficiency and generalization, learning an accurate dynamics model is often challenging and requires substantial interaction with the environment. A wide variety of domains have dynamics that share common foundations like the laws of classical mechanics, which are rarely exploited by existing algorithms. In fact, humans continuously acquire and use such dynamics priors to easily adapt to operating in new environments. In this work, we propose an approach to learn task-agnostic dynamics priors from videos and incorporate them into an RL agent. Our method involves pre-training a frame predictor on task-agnostic physics videos to initialize dynamics models (and fine-tune them) for unseen target environments. Our frame prediction architecture, SpatialNet, is designed specifically to capture localized physical phenomena and interactions. Our approach allows for both faster policy learning and convergence to better policies, outperforming competitive approaches on several different environments. We also demonstrate that incorporating this prior allows for more effective transfer between environments.

연구 동기 및 목표

• 모델리스 딥 강화 학습에서 샘플 효율성이 낮고 일반화 능력이 떨어지는 문제를 해결한다.
• 상호작용이 제한된 새로운 환경에서 정확한 역학 모델을 처음부터 학습하는 데 어려움을 극복한다.
• 다양한 환경 간에 공유되는 물리적 사전 지식(예: 운동, 충돌, 탄성)을 활용하여 모델 기반 강화 학습을 향상시킨다.
• 비정형 영상 데이터에서 사전 훈련된 사전 지식으로 역학 모델을 초기화함으로써 더 빠르고 안정적인 정책 학습을 가능하게 한다.
• 역학 모델 학습과 정책 학습을 분리함으로써 다양한 환경 간에 더 나은 제로샷 및 소수 샘플 전이 성능을 확보한다.

제안 방법

• 움직이는 물체와 물리적 상호작용을 보여주는 다양한 비디오 데이터 셋에서 공간 메모리 기반의 프레임 예측 모델(SpatialNet)을 사전 훈련한다.
• 공간 메모리 블록을 포함한 컨볼루션 인코더, 3D 공간 메모리 블록, 컨볼루션 디코더로 구성된 SpatialNet 아키텍처를 설계하여 세밀한 공간적 및 시간적 역학을 유지한다.
• 사전 훈련된 SpatialNet을 모델 기반 강화 학습 에이전트의 역학 모델 초기화 값으로 사용하고, 이후 작업 전용 경험 데이터에서 미세 조정한다.
• 정책 네트워크에 예측된 향후 프레임을 추가적인 컨텍스트로 통합하여 의사결정 능력을 향상시킨다. 이는 IPA 프레임워크와 유사하다.
• 역학 모델 학습과 정책 학습을 분리함으로써, 다양한 작업을 가진 환경 간에 역학 사전 지식을 독립적으로 전이할 수 있도록 한다.
• 이 방법을 세 가지 도메인에 적용한다: PhysWorld(2D 물리 게임), PhysShooter3D(3D 강체 역학), 스틱키 액션을 가진 확률적 Atari 게임.

실험 결과

연구 질문

• RQ1 다양한 물리 영상에서 사전 훈련된 프레임 예측 모델이 강화 학습에서 샘플 효율성을 향상시키는 일반화 가능한 역학 사전 지식을 제공할 수 있는가?
• RQ2 작업에 종속되지 않는 역학 사전 지식를 사용할 경우, 무작위 초기화에서 학습하는 것과 비교해 정책 학습 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ3 유사한 물리 역학을 가진 다른 작업을 가진 환경 간에 사전 훈련된 역학 모델이 얼마나 잘 전이되는가?
• RQ4 역학 모델 학습과 정책 학습을 분리함으로써 일반화 및 전이 성능 향상에 기여하는가?
• RQ5 어떤 상황에서는 역학 예측이 성능 향상에 유리하고, 어떤 경우에는 해로울 수 있는가?

주요 결과

• 제안된 방법은 기준선 중 가장 강력한 IPA 대비 PhysShooter 환경에서 최대 130% 높은 성능을 기록했다.
• Atari 게임인 Asteroids에서는 기준선 대비 56.5% 높은 성능을 기록했으며, 최종 점수는 2098(±102)로 기록되었고, 기준선은 1340(±351)이었다.
• 다른 작업(예: PhysForage)에서 미세 조정된 사전 훈련된 SpatialNet 모델을 전이하면, 단순히 PhysVideos만 사용하는 경우보다 27% 높은 성능을 기록했으며, PhysShooter에서 53.66점을 기록했다.
• 모델만 전이했을 경우(53.66점)는 정책까지 전이한 경우(40.40점)보다 더 높은 성능를 기록했으며, 이는 분리 전략의 유용성을 입증한다.
• Pong과 아이스 히키와 같은 환경에서는 에이전트가 반복적이고 악용 가능한 전략을 학습하는 경우가 있었고, 이 경우 역학 예측이 성능 향상에 기여하지 못했다. 이는 본 방법의 성능 향상이 맥락에 따라 달라짐을 확인한다.
• SpatialNet 아키텍처는 국소적인 물리적 상호작용을 유지하는 공간 메모리 메커니즘 덕분에 이전 방법보다 더 낮은 프레임 예측 오차와 더 나은 일반화 성능를 달성했다.