[논문 리뷰] Continuous control with deep reinforcement learning

Timothy Lillicrap, Jonathan J. Hunt외 6명|arXiv (Cornell University)|2015. 09. 09.

Reinforcement Learning in Robotics참고 문헌 26인용 수 5,361

한 줄 요약

이 논문은 오프폴리시 액터-크리틱 알고리즘인 Deep Deterministic Policy Gradient (DDPG)를 도입하며, 심층 네트워크를 사용해 연속 제어를 수행하고 재생 버퍼와 타깃 네트워크를 통해 Low 차원 상태와 원시 픽셀 입력 모두에서 안정적인 학습을 가능하게 한다. 다수의 작업에서 성능을 달성한다.

ABSTRACT

We adapt the ideas underlying the success of Deep Q-Learning to the continuous action domain. We present an actor-critic, model-free algorithm based on the deterministic policy gradient that can operate over continuous action spaces. Using the same learning algorithm, network architecture and hyper-parameters, our algorithm robustly solves more than 20 simulated physics tasks, including classic problems such as cartpole swing-up, dexterous manipulation, legged locomotion and car driving. Our algorithm is able to find policies whose performance is competitive with those found by a planning algorithm with full access to the dynamics of the domain and its derivatives. We further demonstrate that for many of the tasks the algorithm can learn policies end-to-end: directly from raw pixel inputs.

연구 동기 및 목표

• 연속 행동 공간에서 확장 가능한 강화학습의 도전 과제를 해결한다.
• 깊은 함수 근사기를 활용하는 모델 프리(off-policy) 알고리즘을 개발한다.
• DQN에서 영감을 받은 재생 버퍼와 타깃 네트워크를 통해 학습의 안정성을 확보한다.
• 복잡한 제어 작업에서 원시 픽셀 입력으로부터의 엔드투엔드 학습을 입증한다.

제안 방법

• 연속 행동을 다루기 위해 결정 정책 기울기(Deterministic Policy Gradient, DPG)를 사용하는 액터-크리틱 프레임워크를 채택한다.
• 액터 μ(s|θ^μ)와 크리틱 Q(s,a|θ^Q)를 둘 다 표현하는 심층 신경망을 활용한다.
• 샘플 상관 관계를 끊고 미니배치 업데이트를 가능하게 하는 재생 버퍼를 도입한다.
• 학습의 안정을 위한 소프트 타깃 네트워크를 액터와 크리틱 모두에 도입한다(θ^Q' 및 θ^μ').
• 다양한 상태 크기를 다루기 위해 입력 및 은닉 층에 배치 정규화를 적용한다.
• 시간적으로 상관된 탐색을 위한 Ornstein–Uhlenbeck 프로세스를 통해 액터에 탐색 노이즈를 추가한다.
• 목표 y_t = r_t + γ Q'(s_{t+1}, μ'(s_{t+1})|θ^{Q'})로 오프폴리시 업데이트를 수행하고, 정책 기울기 및 크리틱 손실에 따른 그래디언트 기반 규칙으로 매개변수를 업데이트한다.

실험 결과

연구 질문

• RQ1 깊은 함수 근사기를 사용하여 고차원 연속 행동 공간에 대해 결정 정책 기울기 기반의 액터-크리틱 방법이 확장 가능할까?
• RQ2 재생 버퍼와 타깃 네트워크가 저차원 및 픽셀 기반 관찰에서의 안정적 오프폴리시 학습을 가능하게 할까?
• RQ3 DDPG로 원시 픽셀에서의 엔드투엔드 학습이 복잡한 제어 작업에서 가능할까?
• RQ4 동역학과 도함수가 알려진 계획 기반 방법과 비교할 때 DDPG의 성능은 어떨까?
• RQ5 배치 정규화와 타깃 네트워크와 같은 구성 요소가 성능과 안정성에 미치는 영향은 무엇인가?

주요 결과

환경	저차원 평균 보상	저차원 최고 보상	픽셀 평균 보상	픽셀 최고 보상	제어 평균 보상	제어 최고 보상
blockworld1	1.156	1.511	0.466	1.299	-0.080	1.260
blockworld3da	0.340	0.705	0.889	2.225	-0.139	0.658
canada	0.303	1.735	0.176	0.688	0.125	1.157
canada2d	0.400	0.978	-0.285	0.119	-0.045	0.701
cart	0.938	1.336	1.096	1.258	0.343	1.216
cartpole	0.844	1.115	0.482	1.138	0.244	0.755

• 재생 버퍼와 소프트 타깃 네트워크를 갖춘 DDPG가 20개 이상의 연속 제어 작업에서 경쟁력 있는 성능을 달성한다.
• 여러 작업에서 DDPG 정책이 동역학과 도함 to 비를 완전히 아는 플래너의 성능을 능가하는 경우가 있다.
• 픽셀에서의 학습은 많은 작업에서 가능하며, 동일한 하이퍼파라미터 하에 저차원 입력과 유사하거나 더 우수한 성과를 달성한다.
• 타깃 네트워크(액터 및 크리틱용)가 학습의 안정성과 성능에 결정적이며 이를 제거하면 성능이 저하된다.
• 배치 정규화는 서로 다른 상태 스케일을 가진 작업 간 학습을 돕고 더 넓은 일반화를 가능하게 한다.
• 고해상도 환경에서 픽셀 기반으로도 엔드투엔드 학습이 가능하며, 고차원 설정에서 관찰 가능성을 높이기 위해 액션 반복이 도움이 된다.