[논문 리뷰] Deep Reinforcement Learning for Motion Planning of Mobile Robots

Leonid Butyrev, Thorsten Edelhäußer외 1명|arXiv (Cornell University)|2019. 12. 19.

Robotic Path Planning Algorithms참고 문헌 23인용 수 13

한 줄 요약

이 논문은 연속적인 상태 및 행동 공간에서 실시간으로 운동학적·역학적 가능성을 갖춘 궤적을 생성하기 위해 딥 Q러닝 기반의 운동 계획 프레임워크를 제안한다. 이는 비홀로노믹 이동 로봇을 대상으로 하며, 딥 디터미니스틱 정책 기반(DDPG) 강화학습을 활용한다. 본 방법은 문제의 복잡성이 증가함에 따라 높은 성공률(최대 97.6%)을 달성하며, 동적인 환경에서 시간 효율성과 제약 조건 준수 면에서 스퍼링 기반 기준보다 뛰어나다.

ABSTRACT

This paper presents a novel motion and trajectory planning algorithm for nonholonomic mobile robots that uses recent advances in deep reinforcement learning. Starting from a random initial state, i.e., position, velocity and orientation, the robot reaches an arbitrary target state while taking both kinematic and dynamic constraints into account. Our deep reinforcement learning agent not only processes a continuous state space it also executes continuous actions, i.e., the acceleration of wheels and the adaptation of the steering angle. We evaluate our motion and trajectory planning on a mobile robot with a differential drive in a simulation environment.

연구 동기 및 목표

• 자주 목표가 업데이트되는 매우 동적인 환경에서 이동 로봇의 실시간 운동 계획 문제를 해결하기 위해.
• 샘플링 기반 및 보간 기반 방법의 최적성, 완전성 또는 제약 조건 준수성에 대한 한계를 극복하기 위해.
• 사전에 계산된 운동 프리미티브 없이 상태 관측값에서 직접 가능성을 갖춘 궤적을 생성하는 DRL 에이전트를 통한 연속적 실시간 제어를 가능하게 하기 위해.
• 궤적 실행 중 항상 운동학적 및 역학적 제약 조건을 만족시키기 위해.
• 지속적으로 업데이트되는 목표 상태를 가진 동적 축구 유사 시나리오에서 성능을 평가하기 위해.

제안 방법

• 연속적인 상태 및 행동 공간에서 DDPG 에이전트를 시뮬레이션 환경에서 훈련한다.
• 상태 표현은 위치, 속도, 자세, 목표 상태(위치, 속도, 자세)를 포함하며, 가장 복잡한 경우 4차원 상태 공간을 형성한다.
• 행동는 연속적인 제어 명령으로, 휠 가속도 및 조향 각도 조정을 포함한다.
• 목표 상태에 최소 오차, 부드러움, 제약 조건 준수를 장려하는 맞춤형 보상 함수가 사용된다.
• 환경는 관성과 차동 드라이브 로봇의 비홀로노믹 제약 조건을 포함한 물리적 역학을 모델링한다.
• 경험 재생과 타겟 네트워크를 사용하여 학습을 안정화시키기 위해 시행착오 방식의 훈련을 실시한다.

실험 결과

연구 질문

• RQ1 사전에 계산된 운동 프리미티브 없이 연속적인 상태 및 행동 공간에서 운동학적·역학적 가능성을 갖춘 궤적을 생성할 수 있는가?
• RQ2 시간 효율성과 제약 조건 준수 면에서 DRL 기반 계획자와 스퍼링 기반 기준 간의 성능 비교는 어떠한가?
• RQ3 동적 목표 업데이트가 있는 복잡한 고차원 운동 계획 과제에 대해 DRL 에이전트의 일반화 능력은 어느 정도인가?
• RQ4 실시간 운동 계획에서 궤적의 부드러움, 시간 효율성, 제약 조건 준수성 간의 상호 상충 관계는 어떠한가?
• RQ5 모든 물리적 제약 조건을 만족시키면서 문제의 차원이 증가함에 따라 DRL 에이전트는 높은 성공률를 유지할 수 있는가?

주요 결과

• 1,000개의 테스트 에피소드 동안 2D에서 100.0%, 3Da에서 99.9%, 3db에서 99.0%, 4D에서 97.6%의 성공률를 기록하였다.
• 평균 위치 오차는 2D에서 0.23 m에서 4D로 0.39 m로 증가하였으며, 각도 오차는 6.3°에서 10.3°로 상승하여 차원 증가에 따른 난이도 상승을 반영하였다.
• 속도 오차는 2D에서 0.14 m/s에서 4D로 0.20 m/s로 증가하였으며, 이는 운동 제어의 복잡성 증가를 반영한다.
• 4D 에이전트의 궤적은 평균적으로 스퍼링 기준보다 1.29배 길었지만, 스퍼링이 실패한 부분에서 모든 운동학적·역학적 제약 조건을 완전히 만족하였다.
• 2D, 3Da, 3db 케이스에서 DRL에 의한 궤적은 스퍼링 기준보다 빠르게 생성되었으며(평균 지속 시간 비율: 0.66, 0.81, 0.81), 각각의 경우에서 더 빠른 속도를 기록하였다.
• 동적 응용 시나리오에서 4D 에이전트는 모든 목표 전환을 부드럽고 제약 조건을 준수하는 궤적을 통해 성공적으로 탐색하였고, 반면 스퍼링 기반 접근은 세 번째와 네 번째 목표 지점 사이에서 제약 조건을 위반하였다.