[논문 리뷰] Distributed Soft Actor-Critic with Multivariate Reward Representation and Knowledge Distillation

D. Akimov|arXiv (Cornell University)|2019. 11. 29.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 NeurIPS 2019 Learn to Move 챌린지에 대비해 다변수 보상 표현과 지식 정복을 활용한 분산형 소프트 액터-크리틱 에이전트를 제시한다. 이 방법은 두 단계의 훈련 과정을 거치며, 먼저 일반적인 이동을 학습한 후 목표 속도장에 따라 움직이는 법을 학습한다. 동시에 사전 훈련된 교사 에이전트로부터 학생 에이전트로 행동을 이전하기 위해 지식 정복을 활용하여 평균 보상 1303.727을 기록하고 대회에서 3위를 차지했다.

ABSTRACT

In this paper, we describe NeurIPS 2019 Learning to Move - Walk Around challenge physics-based environment and present our solution to this competition which scored 1303.727 mean reward points and took 3rd place. Our method combines recent advances from both continuous- and discrete-action space reinforcement learning, such as Soft Actor-Critic and Recurrent Experience Replay in Distributed Reinforcement Learning. We trained our agent in two stages: to move somewhere at the first stage and to follow the target velocity field at the second stage. We also introduce novel Q-function split technique, which we believe facilitates the task of training an agent, allows critic pretraining and reusing it for solving harder problems, and mitigate reward shaping design efforts.

연구 동기 및 목표

• 물리 기반의 3차원 인간 모델에서 복잡한 운동 제어를 위한 샘플 효율적인 강화 학습 에이전트를 개발하는 것.
• 최소한의 노력으로 높은 보상을 얻기 위해 동적인 목표 속도장에 따라 움직이는 법을 학습하는 도전 과제를 해결하는 것.
• 다변수 보상 표현과 지식 정복을 통해 훈련의 안정성과 데이터 효율성을 향상시키는 것.
• 완전한 재훈련 없이도 사전 훈련된 정책을 더 어려운 작업으로 효과적으로 이전하는 것.

제안 방법

• 성능과 탐색의 균형을 이루기 위해 최대 엔트로피 강화 학습을 활용한 소프트 액터-크리틱(SAC)을 사용한다.
• 두 단계의 훈련 과정을 적용한다: 먼저 일반적인 이동을 학습하고, 그 다음 목표 속도장을 따라가는 법을 학습한다.
• 다변수 보상 표현은 목표 속도장을 2차원 벡터장으로 표현하여 정책 및 크리틱 네트워크의 입력으로 사용한다.
• 지식 정복을 통해 사전 훈련된 교사 에이전트(목표 속도장 입력 없음)의 행동을 학생 에이전트(속도장 입력 있음)로 이전한다.
• 정복 과정은 학생 및 교사 정책 간의 KL 발산과 크리틱 Q-값 간의 평균 제곱 오차를 최소화한다.
• 병렬 액터와 우선순위 경험 재현을 사용하여 훈련 속도를 높이고 데이터 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 복잡한 목표 역학을 가진 연속 제어 과제에서 다변수 보상 표현이 정책 일반화를 향상시키는가?
• RQ2 지식 정복이 간단한 작업에서 더 복잡한 작업으로 이동 정책을 이전하는 데 얼마나 효과적인가?
• RQ3 진행적 보상 설계를 통한 단계적 훈련이 운동 제어에서 샘플 효율성을 향상시키는가?
• RQ4 더 쉬운 작업에서의 사전 훈련이 더 어려운 목표 작업에서의 최종 성능을 얼마나 향상시키는가?
• RQ5 SAC와 같은 비순차적 알고리즘과 정복을 조합하여 복잡하고 고차원적인 제어 환경에서 높은 성능을 달성할 수 있는가?

주요 결과

• 에이전트는 평균 보상 1303.727을 기록하여 NeurIPS 2019 Learn to Move 대회에서 3위를 차지했다.
• 지식 정복은 44분 내로 완료되었으며, KL 발산 측정 기준으로 학생 정책이 교사 정책과 거의 동일한 행동을 보였다.
• 두 단계의 훈련 과정은 효과적인 탐색과 더 어려운 난이도 수준에서의 빠른 수렴을 가능하게 했다.
• 난이도 3에서 안정적으로 목표 속도장의 중심에 서는 법을 배우기 위해 추가로 160시간의 훈련이 필요했다.
• 사전 훈련된 크리틱 및 정책 네트워크의 성공적인 이전을 통해 강건성과 데이터 효율성이 입증되었다.
• 최종 에이전트는 목표 속도장을 성공적으로 따라가며 이동 보상과 목표 속도 보상 양쪽을 모두 확보했다.