[논문 리뷰] Off-policy Multi-step Q-learning

Gabriel Kalweit, Maria Huegle외 1명|arXiv (Cornell University)|2019. 09. 25.

Reinforcement Learning in Robotics참고 문헌 11인용 수 4

한 줄 요약

이 논문은 짧은 기간과 장기적인 수익을 각각 모델링하기 위해 잘라내고 이동시킨 Q함수를 사용하는 오프-폴리시 다중단계 시간차 방법인 복합 Q-학습(Composite Q-learning)을 제안한다. 이는 딥 강화학습에서 데이터 효율성을 향상시키며, 시뮬레이션된 로봇 제어 작업에서 TD3 및 최신 오프-폴리시 방법을 능가한다.

ABSTRACT

In the past few years, off-policy reinforcement learning methods have shown promising results in their application for robot control. Deep Q-learning, however, still suffers from poor data-efficiency which is limiting with regard to real-world applications. We follow the idea of multi-step TD-learning to enhance data-efficiency while remaining off-policy by proposing two novel Temporal-Difference formulations: (1) Truncated Q-functions which represent the return for the first n steps of a policy rollout and (2) Shifted Q-functions, acting as the farsighted return after this truncated rollout. We prove that the combination of these short- and long-term predictions is a representation of the full return, leading to the Composite Q-learning algorithm. We show the efficacy of Composite Q-learning in the tabular case and compare our approach in the function-approximation setting with TD3, Model-based Value Expansion and TD3(Delta), which we introduce as an off-policy variant of TD(Delta). We show on three simulated robot tasks that Composite TD3 outperforms TD3 as well as state-of-the-art off-policy multi-step approaches in terms of data-efficiency.

연구 동기 및 목표

• 실세계 로봇 제어 응용을 위한 오프-폴리시 딥 강화학습에서 데이터 효율성을 향상시키기.
• 최근 오프-폴리시 방법의 발전에도 불구하고 딥 Q-학습의 샘플 효율성에 한계가 있음을 해결하기.
• 안정성을 유지하면서 수익 추정을 향상시키는 새로운 오프-폴리시 다중단계 TD-학습 공식화를 개발하기.
• 짧은 기간과 장기 수익 예측을 조합하여 보다 정확한 가치 함수 근사 가능하게 하기.

제안 방법

• 정책 롤아웃의 첫 n단계 동안의 수익을 나타내기 위해 잘라낸 Q함수를 도입한다.
• 잘라낸 롤아웃 이후의 장기적인 수익을 모델링하기 위해 이동된 Q함수를 제안한다.
• 잘라낸 Q함수와 이동된 Q함수를 조합하여 전체 수익의 복합 표현을 구성한다.
• 이 복합 수익 공식화에 기반해 새로운 오프-폴리시 학습 알고리즘인 복합 Q-학습을 유도한다.
• 표현형 및 함수 근사 설정 모두에 이 방법을 적용하며, 복합 TD3라는 변형도 포함한다.
• 비교 평가를 위해 TD(Delta)의 오프-폴리시 변종인 TD3(Delta)를 도입한다.

실험 결과

연구 질문

• RQ1 짧은 기간과 장기 수익 예측을 조합함으로써 오프-폴리시 딥 강화학습에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 제안된 복합 Q-학습 방법은 TD3 및 기타 오프-폴리시 다중단계 방법과 비교해 샘플 효율성이 어떻게 되는가?
• RQ3 잘라내고 이동시킨 Q함수의 사용이 오프-폴리시 환경에서 보다 안정적이고 정확한 가치 함수 학습을 이끌어내는가?
• RQ4 복합 수익 공식화는 학습 성능 향상과 함께 오프-폴리시 일致성을 유지할 수 있는가?

주요 결과

• 복합 Q-학습은 표본형 및 함수 근사 설정 모두에서 TD3보다 뛰어난 데이터 효율성을 달성한다.
• 세 가지 시뮬레이션된 로봇 제어 작업에서 복합 TD3는 학습 효율성과 최종 성능 모두에서 TD3를 능가한다.
• 이 방법은 최첨단 오프-폴리시 다중단계 접근법을 뛰어넘는 데이터 효율성을 보이며, 샘플 활용도 향상을 입증한다.
• 잘라내고 이동시킨 Q함수의 조합은 전체 수익을 더 정확하게 표현하여 학습 안정성과 수렴성을 향상시킨다.