[논문 리뷰] Reciprocal Collision Avoidance for General Nonlinear Agents using Reinforcement Learning

Hao Li, Bowen Weng외 3명|arXiv (Cornell University)|2019. 10. 24.

Robotic Path Planning Algorithms참고 문헌 19인용 수 4

한 줄 요약

이 논문은 연속적인 행동 공간을 가진 일반적인 비선형 에이전트를 위한 강화학습(RL)-기반 탈중앙화된 충돌 회피 방법을 제안한다. 이는 RL로 훈련된 이중 에이전트 정책과 ORCA 기반의 안전 제약을 조합하여 충돌 없는 매끄러운 경로를 보장한다. 이 방법은 실시간 통신 없이도 빠르고 확장 가능한 다중 에이전트 주행을 가능하게 하며, 비선형 역학을 포함한 복잡하고 동적인 시나리오에서 이전의 RL 방법보다 안전성과 일반화 능력에서 뛰어나다.

ABSTRACT

Finding feasible and collision-free paths for multiple nonlinear agents is challenging in the decentralized scenarios due to limited available information of other agents and complex dynamics constraints. In this paper, we propose a fast multi-agent collision avoidance algorithm for general nonlinear agents with continuous action space, where each agent observes only positions and velocities of nearby agents. To reduce online computation, we first decompose the multi-agent scenario and solve a two agents collision avoidance problem using reinforcement learning (RL). When extending the trained policy to a multi-agent problem, safety is ensured by introducing the optimal reciprocal collision avoidance (ORCA) as linear constraints and the overall collision avoidance action could be found through simple convex optimization. Most existing RL-based multi-agent collision avoidance algorithms rely on the direct control of agent velocities. In sharp contrasts, our approach is applicable to general nonlinear agents. Realistic simulations based on nonlinear bicycle agent models are performed with various challenging scenarios, indicating a competitive performance of the proposed method in avoiding collisions, congestion and deadlock with smooth trajectories.

연구 동기 및 목표

• 제한된 상호 에이전트 통신 조건 하에서 일반적인 비선형 에이전트를 위한 탈중앙화된 실시간 충돌 회피 문제를 해결하기 위해.
• 직접적인 속도 제어를 가정하고 안전 보장을 갖지 못하는 기존의 RL 기반 방법의 한계를 극복하기 위해.
• 자전거 모델과 같은 비선형 역학을 포함한 다수의 에이전트가 포함된 복잡한 시나리오에서 확장 가능하고 안전한 주행을 가능하게 하기 위해.
• 대칭적 또는 고밀도 구성에서의 사고나 정체를 방지하기 위해 체계적 안전성을 확보하기 위해.
• 샘플 효율적인 RL 훈련과 ORCA 제약 조건을 통한 볼록 최적화를 융합하여 실시간으로 신속하고 신뢰할 수 있는 행동 선택을 가능하게 하기 위해.

제안 방법

• 상대 위치와 속도만을 관측으로써 훈련하는 딥 디터미니스틱 정책 그레디언트(DDPG) 에이전트를 이중 에이전트 충돌 회피 작업에 적용한다.
• 다중 에이전트 문제를 이변수 상호작용으로 분해하고, 훈련된 RL 정책을 각 쌍에 적용하여 후보 회피 행동을 생성한다.
• 최적의 상호 충돌 회피(ORCA) 프레임워크에서 유도된 선형 속도 제약 조건을 통해 안전성을 확보하여 충돌 없는 운동을 보장한다.
• 개별 RL 행동을 ORCA 제약 조건을 준수하면서 조합하는 볼록 최적화 문제로 다중 에이전트 행동을 구성한다.
• 온라인 계산을 최소화하기 위해 추론 시 단순하고 효율적인 최적화 단계를 사용한다.
• 훈련된 정책을 다양한 수의 에이전트가 포함된 다중 에이전트 시나리오, 특히 최대 42명의 에이전트를 포함한 대규모 설정으로 확장한다.

실험 결과

연구 질문

• RQ1 이중 에이전트 충돌 회피를 위한 학습된 RL 정책이 비선형 역학을 포함한 다중 에이전트 시스템으로 효과적으로 일반화될 수 있는가?
• RQ2 실시간 통신 없이 탈중앙화된 RL 기반 다중 에이전트 주행 시스템에서 안전성을 체계적으로 보장할 수 있는가?
• RQ3 RL과 ORCA 제약 조건을 융합할 경우 순수한 RL 또는 ORCA만을 사용하는 것과 비교해 안전성과 성능이 얼마나 향상되는가?
• RQ4 제안된 방법은 대칭적 또는 고밀도 에이전트 구성에서 정체나 정체를 피할 수 있는가?
• RQ5 ORCA 제약 조건의 통합은 생성된 경로의 매끄럽기와 현실성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 대칭적이고 고위험 구성, 특히 고전적인 ORCA 정체 시나리오를 포함한 최대 8명의 에이전트에 대해 충돌 없는 매끄러운 경로를 성공적으로 생성했다.
• 42명의 에이전트가 원형 배열로 구성된 상황에서는 에이전트들이 오른쪽으로 도는 방식으로 원점을 왼쪽에서 통과함으로써 ORCA 제약 조건에 기반한 행동을 통해 충돌을 피하고 안전한 주행을 달성했다.
• 공심원을 도는 20명의 에이전트 작업에서는 복잡한 이중 방향 상호작용이 있었음에도 불구하고, 안전하고 조율된 경로를 생성했다.
• 24명의 에이전트 예제에서의 분석 결과, ORCA 제약 조건이 필수적이었음을 확인했다. 제약 조건이 없이 RL 정책만을 사용할 경우 충돌이 발생했으나, ORCA의 행동 수정으로 이를 수정할 수 있었다.
• 볼록 최적화를 통해 추론 속도를 높여, 복잡한 비선형 에이전트 역학 조건에서도 실시간 성능을 달성했다.
• 이 방법은 동적 에이전트 수와 훈련 중에 볼 수 없었던 복잡한 시나리오를 포함한 일반화 능력이 뛰어나다는 것을 입증했다.