[논문 리뷰] Deep Reinforcement Learning in Parameterized Action Space

Matthew Hausknecht, Peter Stone|arXiv (Cornell University)|2015. 11. 13.

Reinforcement Learning in Robotics참고 문헌 9인용 수 54

한 줄 요약

이 논문은 연속 제어에서 파rameterized 행동 공간으로 Deep Deterministic Policy Gradients (DDPG)를 확장하며, 경계가 있고 구조화된 행동 공간에서 안정적인 학습을 위해 기울기 제한 기법을 도입한다. 이 방법은 수동으로 설계된 2012년 챔피언 에이전트보다 목표를 더 안정적으로 성취하는 RoboCup 2D Half-Field-Offense 환경에서 에이전트를 성공적으로 훈련시켰으며, 파rameterized 행동 공간에서의 첫 번째 성공적인 딥 강화 학습을 보여준다.

ABSTRACT

Recent work has shown that deep neural networks are capable of approximating both value functions and policies in reinforcement learning domains featuring continuous state and action spaces. However, to the best of our knowledge no previous work has succeeded at using deep neural networks in structured (parameterized) continuous action spaces. To fill this gap, this paper focuses on learning within the domain of simulated RoboCup soccer, which features a small set of discrete action types, each of which is parameterized with continuous variables. The best learned agent can score goals more reliably than the 2012 RoboCup champion agent. As such, this paper represents a successful extension of deep reinforcement learning to the class of parameterized action space MDPs.

연구 동기 및 목표

• 이산 행동 유형과 연속적 파라미터를 조합하는 파라미터화된 행동 공간에 딥 강화 학습을 확장하기 위해.
• 경계가 있고 연속적인 행동 공간에서 DDPG의 불안정성을 해결하기 위해 기울기 제한 기법을 도입하기 위해.
• 수동으로 설계된 행동 없이 RoboCup 2D Half-Field-Offense 환경에서 종단 간 딥 RL 에이전트를 훈련하기 위해.
• 단일 몰입형 정책을 사용하여 복잡한 다단계 작업—공에 접근, 드리블링, 골 성취—을 학습할 수 있음을 입증하기 위해.
• 향후 다중 에이전트 협업 및 수비수와의 골 성취에 대한 기초를 마련하기 위해.

제안 방법

• 비평가의 기울기 갱신을 수정하여 행동 공간 내 기울기를 제한함으로써 DDPG를 확장하여 훈련 안정성을 향상시킴.
• 깊은 신경망을 사용하여 연속 상태-행동 공간에서 액터(정책)와 비평가(행동-가치 함수)를 모두 파라미터화함.
• 네 가지 이산 행동 유형—다시, 턴, 태클, 킥—을 포함하는 파라미터화된 행동 공간을 사용하며, 각각 1~2개의 연속적 파라미터(예: 힘, 방향)를 가짐.
• 희소하지만 정보가 풍부한 보상 함수를 적용: 공에 가까이 다가가는 것, 성공적인 킥 시작, 골에 가까워지는 것.
• DDPG와 동일하게 오프-폴리시 경험 재생과 타겟 네트워크를 사용하여 에이전트를 처음부터 훈련함.
• 경계가 있는 행동 공간에서 훈련 중 발산을 방지하기 위해 행동 공간 기울기의 기울기 클리핑을 구현함.

실험 결과

연구 질문

• RQ1 이산 행동 유형과 연속적 파라미터를 조합하는 파라미터화된 행동 공간에서 딥 강화 학습이 성공적으로 학습할 수 있는가?
• RQ2 행동 공간 기울기 제한이 경계가 있고 연속적인 행동 공간에서 훈련 안정성과 성능을 향상시키는가?
• RQ3 단일 딥 RL 에이전트가 수동으로 설계된 행동 없이 공에 접근, 드리블링, 골 성취와 같은 복잡한 행동의 시퀀스를 학습할 수 있는가?
• RQ4 학습된 에이전트의 성능이 RoboCup 2D Half-Field-Offense 환경에서 수동으로 설계된 전문 정책과 비교해 어떻게 되는가?
• RQ5 제안된 방법이 HFO 도메인을 초월해 다른 연속적이고 경계가 있는 행동 공간에 일반화될 수 있는가?

주요 결과

• 제안된 기울기 제한 기법은 경계가 있고 연속적인 행동 공간에서 훈련 안정성을 크게 향상시켜, 기존 DDPG가 실패하는 영역에서도 안정적인 학습이 가능하게 한다.
• 가장 우수한 학습된 에이전트는 속도가 느리지만 2012년 RoboCup 챔피언 에이전트보다 목표를 더 안정적으로 성취한다.
• 에이전트는 단일 종단 간 학습 정책을 사용하여 공에 접근하고 골을 향해 드리블링을 수행하고 골 성취 킥을 실행하는 것을 성공적으로 학습했다.
• 외부 정책 탐색이나 수동으로 설계된 행동에 의존하지 않고도 복잡한 파라미터화된 행동 공간에서 처음부터 안정적인 훈련이 가능함.
• 비평가의 상태 입력에 대한 기울기가 향상 방향을 나타내므로, 향후 모델 기반 확장에 잠재적 가능성을 보여준다.
• 이 방법은 HFO 도메인을 초월하여 다른 연속적이고 경계가 있는 행동 공간 문제에 일반화되며 유용할 것으로 기대된다.