[논문 리뷰] PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning

Guillaume Matheron, Nicolas Perrin외 1명|arXiv (Cornell University)|2020. 04. 24.

Reinforcement Learning in Robotics참고 문헌 45인용 수 15

한 줄 요약

PBCS는 연속 제어 환경에서 어려운 탐색 문제를 해결하기 위해 백플레이와 기술 체인을 통해 운동 계획과 커리큘럼 학습을 융합한 새로운 강화학습 알고리즘이다. 먼저 운동 계획을 통해 경로를 찾고, DDPG와 기술 체인을 활용한 결정적 백플레이 변종을 적용함으로써, 기존 강화학습 알고리즘인 DDPG와 TD3보다 2D 미로 환경에서 더 뛰어난 성능을 보이며, 표준 강화학습이 실패하는 15×15 셀 이하의 미로까지 성공적으로 해결한다.

ABSTRACT

The exploration-exploitation trade-off is at the heart of reinforcement learning (RL). However, most continuous control benchmarks used in recent RL research only require local exploration. This led to the development of algorithms that have basic exploration capabilities, and behave poorly in benchmarks that require more versatile exploration. For instance, as demonstrated in our empirical study, state-of-the-art RL algorithms such as DDPG and TD3 are unable to steer a point mass in even small 2D mazes. In this paper, we propose a new algorithm called "Plan, Backplay, Chain Skills" (PBCS) that combines motion planning and reinforcement learning to solve hard exploration environments. In a first phase, a motion planning algorithm is used to find a single good trajectory, then an RL algorithm is trained using a curriculum derived from the trajectory, by combining a variant of the Backplay algorithm and skill chaining. We show that this method outperforms state-of-the-art RL algorithms in 2D maze environments of various sizes, and is able to improve on the trajectory obtained by the motion planning phase.

연구 동기 및 목표

• 연속 제어 환경에서 희박한 보상과 고차원 탐색 문제를 해결하기 위해.
• 비국소적 탐색이 필요한 미로에서 표준 강화학습 알고리즘인 DDPG와 TD3가 실패하는 한계를 극복하기 위해.
• 운동 계획을 통해 초기 경로를 발견하고, 강화학습을 통해 정책의 강건성을 향상시키는 하이브리드 접근법을 개발하기 위해.
• 장수명 탐색 과제에서 학습 안정성과 성공률을 향상시키는 기술 체인 메커니즘을 도입하기 위해.
• 결정적 백플레이와 보상 형태 조정을 통합하여 Go-Explore 프레임워크를 연속 제어에 확장하기 위해.

제안 방법

• 2D 미로에서 시작점에서 목표점까지의 단일 가능 경로 τ를 운동 계획 알고리즘(예: RRT)을 사용해 찾는다.
• 경로의 끝에서 시작하여 점진적으로 경로를 거슬러가며 커리큘럼 에피소드를 생성하기 위해 결정적 백플레이 변종을 적용한다.
• L2 거리 기반 보상 형태를 사용하여 목표 지점에 가까워지도록 보정된 보상을 적용하고, 탐색을 이끄는 잠재 함수 Φ(s) = 1/d(s, Ai)를 사용하여 DDPG를 훈련시킨다.
• 각 단계에서 성공한 정책을 저장하고, 백플레이가 실패할 경우 남은 세그먼트에서 재귀적으로 훈련을 수행하는 기술 체인 메커니즘을 구현한다.
• 훈련 과정에서 소스 상태 τK 주변의 버퍼 Bϵ(τK)를 사용하여 강건한 초기화를 가능하게 하며, β 에피소드에서 성능이 100%에 도달할 때까지 훈련을 중단한다.
• 희박한 환경 보상 대신 목표 지점에의 근접도를 기반으로 한 밀도 높은 대체 보상으로 보상 형태 조정을 수행하여 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 운동 계획과 강화학습을 융합한 하이브리드 접근법이 표준 강화학습 알고리즘이 실패하는 연속 제어 환경에서 어려운 탐색 문제를 해결할 수 있는가?
• RQ2 DDPG와 함께 사용하는 결정적 백플레이가 PPO와 함께 사용하는 확률적 백플레이에 비해 연속적 미로 환경에서 안정성과 성공률 측면에서 어떻게 비교되는가?
• RQ3 기술 체인은 장수명 탐색 과제에서 학습 안정성과 성공률에 얼마나 기여하는가?
• RQ4 거리 잠재 함수 기반의 보상 형태 조정이 희박한 보상 환경에서 샘플 효율성과 수렴 속도를 향상시키는가?
• RQ5 운동 계획, 백플레이, 기술 체인의 조합이 더 큰 더 복잡한 미로로의 일반화를 가능하게 하는가?

주요 결과

• 표준 DDPG와 TD3 알고리즘은 2×2를 초과하는 미로를 해결하지 못하여, 희박한 보상 환경에서 탐색 능력이 열악함을 입증한다.
• 기술 체인 없이 PBCS를 적용한 경우, 장기 훈련 세션 중 DDPG의 불안정성으로 인해 2×2를 초과하는 미로를 해결하지 못했다.
• 기술 체인을 포함한 전체 PBCS 알고리즘은 7×7 및 15×15 미로를 성공적으로 해결하였으며, 15×15 미로에서 다중 중간 단계 기술을 체인화함으로써 100% 성공률를 달성했다.
• 기술 체인을 포함한 PBCS는 기준 DDPG 대비 훨씬 적은 환경 단계를 소비하였으며, 15×15 미로에서는 372만 단계를 기록한 데 비해 표준 DDPG는 500만 단계가 소요되었다.
• 잠재 함수를 기반으로 한 보상 형태 조정은 훈련 수렴을 향상시키고, 시작 상태가 장애물 근처에 있을 경우에도 신뢰할 수 있는 정책 학습을 가능하게 하였다.
• 초기 상태 분포에 대해 강건함을 입증하였으며, 정확한 상태 τK가 아닌 버퍼 Bϵ(τK)에서 훈련을 초기화함으로써 성능이 안정되었다.