[논문 리뷰] Relational Graph Learning for Crowd Navigation

Changan Chen, Sha Hu외 3명|arXiv (Cornell University)|2019. 09. 28.

Anomaly Detection Techniques and Applications참고 문헌 45인용 수 9

한 줄 요약

이 논문은 모델 기반 딥 강화 학습을 사용하여 로봇 군중 주행을 위한 관계 기반 그래프 학습 방법을 제안한다. 여기서 그래프 컬러이션 네트워크(GCN)는 잠재 특징에서 학습한 관계를 통해 에이전트 간의 고차원 상호작용을 인코딩한다. 이 방법은 예측된 인간 운동 기반의 다단계 앞서 보기 계획을 가능하게 하여 기존 기준 대비 주행 효율성을 크게 향상시키고 충돌을 줄이며 진동 및 정지 행동을 제거한다.

ABSTRACT

We present a relational graph learning approach for robotic crowd navigation using model-based deep reinforcement learning that plans actions by looking into the future. Our approach reasons about the relations between all agents based on their latent features and uses a Graph Convolutional Network to encode higher-order interactions in each agent's state representation, which is subsequently leveraged for state prediction and value estimation. The ability to predict human motion allows us to perform multi-step lookahead planning, taking into account the temporal evolution of human crowds. We evaluate our approach against a state-of-the-art baseline for crowd navigation and ablations of our model to demonstrate that navigation with our approach is more efficient, results in fewer collisions, and avoids failure cases involving oscillatory and freezing behaviors.

연구 동기 및 목표

• 복잡한 인간 상호작용이 존재하는 역동적 군중 환경에서 안전하고 효율적인 로봇 주행 문제를 해결하기 위해.
• 이전 방법들이 히ュ리스틱 상호작용 모델을 사용하거나 인간 운동을 선형으로 가정하는 데서 비롯되는 한계를 극복하기 위해.
• 관계 추론을 통해 인간 궤적 예측과 상태 가치 추정을 동시에 수행함으로써 장기적 계획을 가능하게 하기 위해.
• 혼잡한 환경에서 발생하는 로봇의 진동 및 정지와 같은 실패 모드를 완화하기 위해.
• 학습된 관계를 통해 고차원 상호작용을 모델링할 경우 주행 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 로봇과 인간 에이전트를 관계 그래프의 노드로 간주하고, 잠재 특징에 기반한 학습된 상호작용을 간선으로 표현한다.
• 그래프 컬러이션 네트워크(GCN)가 그래프를 처리하여 로봇과 인간 양측의 상호작용 인식 상태 표현을 계산한다.
• 학습된 동역학 모델을 사용하여 향후 인간 궤적을 예측함으로써 d단계 앞서 보기 계획을 가능하게 한다.
• 예측된 미래 상태와 상호작용 특징을 포함한 가치 네트워크를 사용하여 상태 가치를 추정한다.
• 다단계 계획에서의 가치 추정을 기반으로 행동을 선택함으로써 비단기적 결정을 가능하게 한다.
• 운동 예측과 주행 정책을 동시에 최적화할 수 있는 미분 가능 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 GCN를 활용한 관계 기반 그래프 학습은 인간과 로봇 간의 고차원 상호작용을 모델링함으로써 다에이전트 주행 성능을 향상시킬 수 있는가?
• RQ2 예측된 인간 운동 기반의 다단계 앞서 보기 계획은 충돌을 줄이고 주행 효율성을 향상시키는가?
• RQ3 제안된 방법은 혼잡한 상황에서 흔히 발생하는 로봇의 진동 및 정지와 같은 일반적인 실패 케이스를 완화할 수 있는가?
• RQ4 계획 깊이(d)가 성공률 및 충돌 회피 측면에서 성능에 어떤 영향을 미치는가?
• RQ5 군중 주행에서 히ュ리스틱 또는 단순화된 상호작용 모델에 비해 상호작용 관계를 학습하는 것이 얼마나 더 우수한 성능을 내는가?

주요 결과

• d=2 계획을 사용할 경우 제안된 방법은 성공률 0.572를 달성하여 기준의 0.551보다 뚜렷한 향상을 보이며 장기적 계획의 이점을 입증한다.
• 모델은 기준 방법에서 관찰된 바와 같이 복잡한 시나리오에서 충돌을 줄이고 진동 및 정지 행동을 완전히 제거한다.
• 두 단계 앞서 보기 계획은 향후 상호작용을 예측함으로써 충돌을 성공적으로 피할 수 있다. 예를 들어, 두 사람이 서로 향해 움직일 경우에 해당한다.
• 가치 히트맵 시각화 결과, 향후 상호작용이 예측될 경우 충돌 가능성이 높은 행동(예: 210°)에 낮은 가치를 할당함으로써 더 안전한 결정을 내리는 것으로 확인되었다.
• 모델는 향후 단계에서 보상이 증가하는 것을 예측함으로써 정지 문제를 해결하여 즉각적인 행동이 불편함을 동반하더라도 비단기적 결정을 가능하게 한다.
• LiDAR와 깊이 센서를 탑재한 Pioneer 로봇을 활용한 실세계 구현을 통해 실시간 인간 감지 및 추적 기능을 갖춘 환경에서의 실현 가능성을 확인하였다.