[논문 리뷰] Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space

Fan Zhou, Rui Su외 2명|arXiv (Cornell University)|2019. 03. 04.

Reinforcement Learning in Robotics참고 문헌 17인용 수 9

한 줄 요약

이 논문은 다중 병렬 서브 액터 네트워크를 사용하여 이산적이고 연속적인 액션 구성 요소를 함께 처리하는, 파rameterized 액션 스페이스를 위한 하이브리드 액터-크리틱 강화학습 아키텍처를 제안한다. 이는 공통의 글로벌 크리틱에 의해 이끌린다. 이 방법은 하이브리드 프록시멀 정책 최적화(H-PPO)로 명명되며, 이는 이전의 DQN 및 P-DQN와 비교해 더 빠른 수렴 속도, 더 높은 성공률, 더 낮은 분산을 보이며 네 가지 벤치마크 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

In this paper we propose a hybrid architecture of actor-critic algorithms for reinforcement learning in parameterized action space, which consists of multiple parallel sub-actor networks to decompose the structured action space into simpler action spaces along with a critic network to guide the training of all sub-actor networks. While this paper is mainly focused on parameterized action space, the proposed architecture, which we call hybrid actor-critic, can be extended for more general action spaces which has a hierarchical structure. We present an instance of the hybrid actor-critic architecture based on proximal policy optimization (PPO), which we refer to as hybrid proximal policy optimization (H-PPO). Our experiments test H-PPO on a collection of tasks with parameterized action space, where H-PPO demonstrates superior performance over previous methods of parameterized action reinforcement learning.

연구 동기 및 목표

• 액션이 이산 선택과 연속적 파라미터의 조합으로 이루어지는 파rameterized 액션 스페이스에서 강화학습 에이전트를 훈련시키는 데 도전하는 것.
• 표준 딥 강화학습 알고리즘으로 잘 다루어지지 않는 복잡한 액션 스페이스에서 샘플 효율성과 학습 안정성을 향상시키는 것.
• 일반적인 계층적 액션 구조로의 확장이 가능한 탄력적인 아키텍처를 설계하는 것.
• 다양한 병렬 액터들 간의 공통된 크리틱 감독을 활용하여 조율된 정책 학습을 수행하는 PPO 기반의 구현(H-PPO)을 개발하는 것.

제안 방법

• 아키텍처는 계층적 액션 스페이스의 특정 구성 요소—이산 액션 선택 및 연속적 파라미터 선택—을 담당하는 다수의 병렬 서브 액터 네트워크를 사용한다.
• 단일 글로벌 크리틱 네트워크가 상태-액션 쌍을 평가하고 모든 서브 액터 네트워크를 동시에 업데이트하기 위한 통합된 가치 신호를 제공한다.
• 크리틱은 공통의 가치 함수를 사용하여 이점 추정치를 계산하여, 통합된 목적 함수를 통해 모든 서브 액터들 간에 일관된 정책 업데이트를 가능하게 한다.
• 이 방법은 H-PPO로 구현되며, PPO 클리핑 메커니즘을 적용하여 훈련을 안정화하면서도 이산 및 연속 정책 헤드 간의 조율을 유지한다.
• 서브 액터들 간에 초기 레이어를 공유하여 특징 공유를 장려하고 일반화 능력을 향상시키며, 이산 및 연속 액션을 위한 별도의 정책 헤드를 허용한다.
• 훈련 과정은 서브 액터의 정책 업데이트와 크리틱의 가치 함수 업데이트를 번갈아가며 수행하며, 양측을 균형 잡는 통합 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 병렬 서브 액터와 글로벌 크리틱을 갖춘 하이브리드 액터-크리틱 아키텍처는 파rameterized 액션 스페이스에서 학습 안정성과 성능을 향상시킬 수 있는가?
• RQ2 H-PPO는 다양한 작업에서 표준 DQN 및 P-DQN과 비교해 성공률, 수렴 속도, 분산 측면에서 어떻게 다른가?
• RQ3 이 하이브리드 아키텍처는 파arameterized 액션을 초월해 다른 계층적 액션 스페이스 구조로 일반화될 수 있는가?
• RQ4 여러 서브 액터들 간의 공통 크리틱 감독은 더 조율되고 효과적인 정책 학습을 이끌 수 있는가?

주요 결과

• H-PPO는 'Moving' 환경에서 90.45% ± 6.75%의 성공률을 기록하여 P-DQN(1.56% ± 2.78%) 및 DQN(0.00%)을 크게 앞서며 뛰어난 성능을 보였다.
• 'Chase and Attack' 환경에서 H-PPO는 99.98% ± 0.30%의 성공률을 기록하며 가장 낮은 분산을 보였으며, DQN(99.91% ± 0.74%) 및 P-DQN(99.85% ± 0.84%)을 모두 앞섰다.
• 'Half Field Football' 작업에서 H-PPO는 95.39% ± 4.81%의 성공률을 기록하여 P-DQN(76.31% ± 16.81%) 및 DQN(0.00%)을 압도했다.
• 모든 네 가지 환경에서 H-PPO는 더 빠른 수렴과 더 안정적인 학습 곡선을 보였으며, 기준 방법들보다 성능 분산이 더 낮았다.
• 모든 환경에서 H-PPO는 DQN 및 P-DQN보다 더 높은 평균 에피소드 보상치를 기록했으며, 'Half Field Football'에서 최고 보상 9.849를 기록했다.
• 정성적 분석 결과, H-PPO는 예를 들어 TURN, DASH, KICK와 같은 이산 액션과 각각의 각도, 힘, 방향과 같은 적절한 연속적 파라미터를 조율하여 학습한 것으로 나타났으며, 'Half Field Football'에서의 프레임 단위 행동 분석을 통해 이를 확인할 수 있었다.