[논문 리뷰] Crowd-Robot Interaction: Crowd-aware Robot Navigation with Attention-based Deep Reinforcement Learning

Changan Chen, Yuejiang Liu외 2명|arXiv (Cornell University)|2018. 09. 24.

Evacuation and Crowd Dynamics참고 문헌 43인용 수 12

한 줄 요약

이 논문은 인공지능 기반의 강화학습 프레임워크인 SARL을 제안하며, 인구-로봇 및 인류-인간 상호작용을 모두 모델링하여 인파 속에서의 로봇 주행을 개선한다. 자기주의 주의(self-attention) 메커니즘을 활용해 향후 상태에 기반해 주변 인간의 중요도를 동적으로 가중치를 부여함으로써, 인파의 역학을 더 잘 예측하고 시뮬레이션 및 실세계 실험(세그웨이 플랫폼 기반)에서 최신 기술보다 더 빠르고 안전한 주행을 달성한다.

ABSTRACT

Mobility in an effective and socially-compliant manner is an essential yet challenging task for robots operating in crowded spaces. Recent works have shown the power of deep reinforcement learning techniques to learn socially cooperative policies. However, their cooperation ability deteriorates as the crowd grows since they typically relax the problem as a one-way Human-Robot interaction problem. In this work, we want to go beyond first-order Human-Robot interaction and more explicitly model Crowd-Robot Interaction (CRI). We propose to (i) rethink pairwise interactions with a self-attention mechanism, and (ii) jointly model Human-Robot as well as Human-Human interactions in the deep reinforcement learning framework. Our model captures the Human-Human interactions occurring in dense crowds that indirectly affects the robot's anticipation capability. Our proposed attentive pooling mechanism learns the collective importance of neighboring humans with respect to their future states. Various experiments demonstrate that our model can anticipate human dynamics and navigate in crowds with time efficiency, outperforming state-of-the-art methods.

연구 동기 및 목표

• 기존의 로봇 주행 방법이 인파 상호작용을 단순화하거나 인류-인간 역학을 忽略하는 한계를 해결하기 위해.
• 로봇-인간 및 인류-인간 상호작용을 동시에 모델링하여 인파가 많을 경우의 로봇 주행을 향상시키기 위해.
• 주의 메커니즘을 통해 주변 에이전트의 상대적 중요도를 학습함으로써 인간의 운동을 더 잘 예측하기 위해.
• 다양한 인파 상황에 일반화 가능한 계산 효율성이 높고, 엔드 투 엔드로 미분 가능한 정책을 개발하기 위해.

제안 방법

• 이 방법은 자기주의 주의 메커니즘을 활용해 로봇과 각 인간 간의 상호작용 특징을 집계하며, 예측된 향후 상태에 기반해 각 인간의 상대적 중요도를 학습한다.
• 국소 지도(local maps)를 사용해 인류-인간 상호작용을 인코딩하여, 간접적으로 로봇 계획에 영향을 주는 집단적 인파 행동을 캡처한다.
• 로봇-인간 및 인류-인간 쌍의 상호작용 특징은 다중 헤드(self-attention) 메커니즘을 통해 처리되어, 맥락에 민감한 압축된 인파 표현을 생성한다.
• 전문가의 시연를 통해 정책을 온전히 초기화한 후, 딥 강화학습을 통해 주행 행동을 정교화하기 위해 애자일러닝(imitation learning)을 사용해 모델을 훈련한다.
• LM-SARL이라는 변종은 국소 지도를 주의 메커니즘에 통합하여 복잡한 인류-인간 상호작용을 더 잘 모델링한다.
• 최종 정책는 엔드 투 엔드로 딥 강화학습을 통해 훈련되어 주행의 시간 효율성과 안전성을 최적화한다.

실험 결과

연구 질문

• RQ1 밀도 높은 인파에서 인공지능-로봇 상호작용뿐만 아니라 인류-인간 상호작용까지 모델링함으로써 로봇이 인간의 운동을 효과적으로 예측할 수 있는 방법은 무엇인가?
• RQ2 자기주의 주의 메커니즘이 주변 인간의 중요도에 동적 가중치를 할당하여 인파 역학의 표현을 향상시킬 수 있는가?
• RQ3 로봇-인간 및 인류-인간 상호작용을 동시에 모델링하면 단방향 상호작용 모델보다 더 효율적이고 안전한 주행이 가능한가?
• RQ4 국소 지도를 활용해 인류-인간 상호작용을 모델링함으로써 로봇이 복잡한 인파 행동을 이해하는 데 어떤 영향을 미치는가?

주요 결과

• 제안된 SARL 모델은 밀도가 높고 복잡한 인파 환경을 포함한 여러 시뮬레이션 시나리오에서 최신 기술(SOTA)을 능가하는 주행 시간과 성공률을 달성한다.
• 국소 지도를 주의 메커니즘에 통합한 LM-SARL은 인파 중심을 안전한 간선으로 인식함으로써 뛰어난 성능을 발휘하며, 과도하게 공격적이거나 너무 경계적인 행동을 피한다.
• 주의 메커니즘이 가장 영향력 있는 인간들—예를 들어 곧 로봇에 가까이 다가설 인간들—을 성공적으로 식별함으로써, 모델이 역동적인 인파 중요도를 추론할 수 있음을 입증한다.
• 가치 추정에서 SARL과 LM-SARL은 위험한 방향(70°에서 200° 사이)에서 낮은 값을 정확히 예측하여 안전한 감속을 이끌어내지만, 기준 모델들은 이 영역에서 가치를 과도하게 추정한다.
• 세그웨이 로봇 플랫폼에서의 실세계 실험을 통해 모델의 강건성과 일반화 능력이 확인되었으며, 로봇은 학습된 정책을 사용해 실제 인간 인파를 성공적으로 통과했다.
• 제거 실험(ablation study) 결과, 자기주의 주의 메커니즘 또는 국소 지도 통합을 제거할 경우 성능이 심각하게 저하됨을 확인하여, 양 구성 요소의 기여도를 검증하였다.