[논문 리뷰] Robot Navigation in Crowds by Graph Convolutional Networks with Attention Learned from Human Gaze

Yuying Chen, Congcong Liu외 2명|arXiv (Cornell University)|2019. 09. 23.

Anomaly Detection Techniques and Applications참고 문헌 29인용 수 8

한 줄 요약

이 논문은 인공지능 로봇의 혼잡한 환경 내 주행을 위해 인간의 시선으로 학습된 주의 메커니즘을 통합한 그래프 컬러리션 네트워크(GCN)를 제안한다. 이는 주목할 만한 보행자에게 집중함으로써 정책 학습을 향상시킨다. GCN 기반 강화학습 프레임워크에 시선 유래 주의를 통합함으로써, 이 방법은 실세계의 고밀도 데이터셋에서 최신 기술 대비 18.4% 높은 성공률과 16.4% 높은 시간 효율성을 달성한다.

ABSTRACT

Safe and efficient crowd navigation for mobile robot is a crucial yet challenging task. Previous work has shown the power of deep reinforcement learning frameworks to train efficient policies. However, their performance deteriorates when the crowd size grows. We suggest that this can be addressed by enabling the network to identify and pay attention to the humans in the crowd that are most critical to navigation. We propose a novel network utilizing a graph representation to learn the policy. We first train a graph convolutional network based on human gaze data that accurately predicts human attention to different agents in the crowd. Then we incorporate the learned attention into a graph-based reinforcement learning architecture. The proposed attention mechanism enables the assignment of meaningful weightings to the neighbors of the robot, and has the additional benefit of interpretability. Experiments on real-world dense pedestrian datasets with various crowd sizes demonstrate that our model outperforms state-of-art methods by 18.4% in task accomplishment and by 16.4% in time efficiency.

연구 동기 및 목표

• 고밀도 혼잡한 환경에서 딥 강화학습의 성능 저하 문제를 해결하기 위해 핵심적인 에이전트에 대한 주의를 향상시키는 것.
• 학습 가능한 인접 행렬 가중치를 갖는 동적 그래프로 로봇-보행자 상호작용을 표현함으로써 보행자 군집의 역학을 더 효과적으로 모델링하는 것.
• 인간의 시선 데이터를 활용하여 주행 결정에 가장 관련성이 높은 보행자를 식별할 수 있는 주의 메커니즘을 학습하는 것.
• 그래프 기반 특징 집약을 통해 다양한 규모의 보행자 집단에서 주행 정책의 해석 가능성과 확장성을 향상시키는 것.
• 실세계의 고밀도 보행자 환경에서 성공률과 주행 효율성 측면에서 기존 방법들을 능가하는 것.

제안 방법

• 먼저 인간의 시선 데이터를 기반으로 두 층의 그래프 컬러리션 네트워크(GCN)를 학습하여 주변 보행자에 대한 주의 가중치를 예측한다.
• 학습된 시선 기반 주의를 활용해 로봇-군중 상태를 인코딩하는 두 번째 GCN의 인접 행렬을 조절한다.
• GCN 기반 상태 표현을 딥 Q-네트워크에 입력하여 강화학습에서 행동 선택을 위한 가치 함수를 추정한다.
• 시간이 지남에 따라 상호작용과 주의의 변화를 반영하기 위해 인접 행렬을 동적으로 갱신한다.
• 모델은 그래프의 구조적 정보와 인간의 주의 사전 지식을 통합하여 주행 중 주목할 만한 에이전트를 우선순위화한다.
• 제거 분석을 통해 균일 가중치, 거리 기반 가중치 또는 자기 주의 메커니즘을 사용한 변형 모델과 비교하여 시선으로 학습된 주의의 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 인간의 시선 데이터는 혼잡한 환경에서 로봇 주행을 위한 더 의미 있는 주의 메커니즘을 학습하는 데 효과적으로 활용될 수 있는가?
• RQ2 시선에서 유래한 주의를 그래프 컬러리션 네트워크에 통합함으로써 고밀도 혼잡 환경에서 정책 성능이 향상되는가?
• RQ3 변동하는 보행자 수를 다룰 때 그래프 기반 아키텍처는 순차적 또는 풀링 기반 집약 방식보다 어떻게 비교되는가?
• RQ4 그래프 표현과 학습된 주의의 조합이 주행 시간을 얼마나 줄이고 성공률을 얼마나 높이는가?
• RQ5 제안된 방법은 다양한 보행자 밀도와 복잡한 이동 패턴에 대해 강건한가?

주요 결과

• 제안된 G-GCNRL 모델은 실세계의 고밀도 보행자 데이터셋에서 최신 기술 대비 18.4% 높은 작업 완료율과 16.4% 높은 시간 효율성을 달성한다.
• 시선 기반 주의를 통합한 모델(G-GCNRL)은 자기 주의 기반 기준 모델(SA-GCNRL)보다 성공률에서 9.7% 높고 주행 시간에서 11.1% 빠르다.
• 제거 분석 결과, 시선 기반 주의는 거리 기반 가중치 대비 10.5% 높은 성공률을, 균일 가중치 대비 5.0% 높은 성공률을 기록함을 확인하였다.
• 가장 복잡한 환경(NYC-GC, 프레임당 약 30명의 보행자)에서 G-GCNRL은 가장 높은 성공률을 기록하여 고밀도 환경에서의 강건성을 입증하였다.
• 궤적 시각화 결과, G-GCNRL은 더 매끄럽고 직접적인 경로를 생성하는 반면, SARL은 주저함과 빈번한 방향 전환을 보였다.
• 그래프 기반 아키텍처는 비그래프 기반 기준 모델보다 뚜렷한 우월성을 보였다: U-GCNRL은 UARL(균일 주의를 갖는 SARL 유사 모델) 대비 성공률 23.7% 높고 주행 시간 23.2% 짧았다.