[논문 리뷰] Multi-Agent Path Planning based on MPC and DDPG

Junxiao Xue, Xiangyan Kong외 2명|arXiv (Cornell University)|2021. 02. 26.

Robotic Path Planning Algorithms참고 문헌 22인용 수 4

한 줄 요약

이 논문은 정적 및 동적 장애물을 포함한 동적 환경에서 다중 에이전트 경로 계획을 위한 하이브리드 MPC-DDPG 프레임워크를 제안한다. 동적 장애물의 궤적 예측을 위해 모델 예측 제어(MPC)를 통합하고, 연속적인 행동 공간 결정을 위해 딥 디터미니스틱 정책 그래디언트(DDPG)를 사용함으로써, DQN 대비 경로 정확도를 7–30% 향상시키고, 경로 길이를 100 단위 감소시키며, 회전 각도를 400–450° 감소시켰다. 또한 Unity3D 시뮬레이션에서 항공母함의 갑판과 도시 광장 환경에서 학습 안정성과 부드러움이 향상되었다.

ABSTRACT

The problem of mixed static and dynamic obstacle avoidance is essential for path planning in highly dynamic environment. However, the paths formed by grid edges can be longer than the true shortest paths in the terrain since their headings are artificially constrained. Existing methods can hardly deal with dynamic obstacles. To address this problem, we propose a new algorithm combining Model Predictive Control (MPC) with Deep Deterministic Policy Gradient (DDPG). Firstly, we apply the MPC algorithm to predict the trajectory of dynamic obstacles. Secondly, the DDPG with continuous action space is designed to provide learning and autonomous decision-making capability for robots. Finally, we introduce the idea of the Artificial Potential Field to set the reward function to improve convergence speed and accuracy. We employ Unity 3D to perform simulation experiments in highly uncertain environment such as aircraft carrier decks and squares. The results show that our method has made great improvement on accuracy by 7%-30% compared with the other methods, and on the length of the path and turning angle by reducing 100 units and 400-450 degrees compared with DQN (Deep Q Network), respectively.

연구 동기 및 목표

• 인위적인 방향 제약으로 인해 최적화되지 않는 기존 격자 기반 경로 계획의 한계를 해결한다.
• 동적 장애물이 존재하는 고차원 연속 행동 공간에서 Q-학습 및 DQN의 낮은 수렴성과 일반화 능력 부족 문제를 해결한다.
• 항공母함 갑판과 도시 광장과 같은 복잡하고 불확실한 환경에서 경로 계획의 정확도와 부드러움을 향상시킨다.
• 예측 제어와 딥 강화 학습을 통합하여 실시간 동적 상황에서 의사결정의 강건성을 향상시킨다.
• 연속 행동 공간을 지원하고 이동 장애물에 실시간으로 적응할 수 있는 학습 기반 경로 계획 시스템을 개발한다.

제안 방법

• 동적 장애물의 향후 궤적 예측을 위해 모델 예측 제어(MPC)를 활용하여 환경의 불확실성을 감소시킨다.
• 연속 행동 공간을 갖는 딥 디터미니스틱 정책 그래디언트(DDPG)를 사용하여 에이전트가 시행착오를 통해 최적의 주행 정책을 학습할 수 있도록 한다.
• 인공 잠재력장에서 영감을 얻은 보상 함수를 설계하여 목표는 끌고 장애물은 밀어내는 방식으로 수렴 속도를 가속화하고 경로 품질을 향상시킨다.
• 훈련 및 추론 과정에서 실제 운동 제약을 반영하기 위해 운동역학 모델을 사용해 에이전트 동역학을 모델링한다.
• MPC에서 윈도우 기반 최적화 프레임워크를 구현하여 매 시간 단계마다 예측과 제어 행동을 업데이트한다.
• Unity3D를 사용한 시뮬레이션 환경에서 DDPG 에이전트를 훈련시키며, 상태 공간은 에이전트 위치, 목표 위치, 장애물 위치를 포함하고 행동 공간은 속도 및 조향 명령을 포함한다.

실험 결과

연구 질문

• RQ1 MPC 기반 장애물 궤적 예측이 동적 환경에서 다중 에이전트 경로 계획의 정확도와 강건성에 뚜렷한 향상을 이끌 수 있는가?
• RQ2 DDPG와 MPC를 통합함으로써, 연속 행동 공간에서 표준 DQN 및 A2C에 비해 학습 안정성과 수렴 속도가 어떻게 향상되는가?
• RQ3 인공 잠재력장에서 영감을 얻은 보상 함수가 복잡하고 불확실한 환경에서 경로의 부드러움과 수렴 속도에 얼마나 기여하는가?
• RQ4 환경 복잡성이 증가함에 따라 제안된 방법이 DQN, A2C, DDPG에 비해 경로 길이, 회전 각도, 정확도 측면에서 어떻게 비교되는가?
• RQ5 하이브리드 MPC-DDPG 프레임워크가 최적의 부드러운 궤적을 유지하면서 실시간으로 동적 장애물 회피를 효과적으로 처리할 수 있는가?

주요 결과

• 제안된 MPC-DDPG 방법은 시나리오 1에서 DQN 대비 8% 향상된 정확도를 기록했으며, A2C에선 6%, DDPG에선 31% 향상되었고, 더 복잡한 시나리오 2에서는 여전히 91%의 정확도를 유지했다.
• 시나리오 1에서 DQN 대비 평균 경로 길이를 100 단위 감소시켰다(438.22에서 328.95로), 평균 회전 각도는 450도 감소시켰다(586.73°에서 139.80°로).
• 시나리오 2에서는 DQN 대비 경로 길이를 150 단위 감소시켰다(465.45에서 315.68로), 회전 각도는 394도 감소시켰다(522.62°에서 128.41°로).
• 제안된 방법의 평균 보상은 약 150에 안정화되었으며, A2C(100)를 능가했고 DDPG보다도 더 뛰어난 안정성을 보여 학습 효율성이 뛰어나다는 것을 시사한다.
• 이 방법은 낮은 경로 길이와 회전 각도를 기록하여 경로의 부드러움과 실시간 적응 능력이 뛰어나 자원 효율성과 작업의 적시성 향상이 가능함을 보여주었다.
• MPC를 통한 장애물 예측 통합은 알고리즘의 일반화 능력 향상과 동적 환경에서 국소 최솟값 회피 능력을 크게 향상시켰으며, 순수하게 반응적인 또는 예측 기반이 아닌 방법보다 뛰어난 성능을 보였다.