[논문 리뷰] Socially Aware Motion Planning with Deep Reinforcement Learning

Yu Fan Chen, Michael Everett외 2명|arXiv (Cornell University)|2017. 03. 26.

Autonomous Vehicle Technology and Safety참고 문헌 22인용 수 42

한 줄 요약

이 논문은 보행자 밀도가 높은 환경에서 로봇 차량이 안전하고 자연스럽게 주행할 수 있도록 사회적 규범(예: 오른쪽에서 지나다니기)을 보상 설계를 통해 위반을 방지하는 방식으로 학습함으로써, 인간의 특징을 모방하지 않고 사회적으로 타당한 행동을 학습하는 딥 강화학습 프레임워크인 SA-CADRL을 제안한다. 이 방법은 인간의 보행 속도(1.2 m/s)로 실시간이며 완전 자율 주행을 실현하며, 최소한의 인간 간섭으로도 동적 실내 환경에서 가능하다.

ABSTRACT

For robotic vehicles to navigate safely and efficiently in pedestrian-rich environments, it is important to model subtle human behaviors and navigation rules (e.g., passing on the right). However, while instinctive to humans, socially compliant navigation is still difficult to quantify due to the stochasticity in people's behaviors. Existing works are mostly focused on using feature-matching techniques to describe and imitate human paths, but often do not generalize well since the feature values can vary from person to person, and even run to run. This work notes that while it is challenging to directly specify the details of what to do (precise mechanisms of human navigation), it is straightforward to specify what not to do (violations of social norms). Specifically, using deep reinforcement learning, this work develops a time-efficient navigation policy that respects common social norms. The proposed method is shown to enable fully autonomous navigation of a robotic vehicle moving at human walking speed in an environment with many pedestrians.

연구 동기 및 목표

• 보행자 주행 규범(예: 오른쪽에서 지나다니기)을 존중하는 사회적 인지 주행 계획 시스템을 개발하기 위해.
• 모의 학습에서 특징 매칭 접근법의 한계를 극복하기 위해. 이러한 접근법은 변동성이 높고 개인 및 상황 간 일반화 능력이 떨어지는 데 어려움을 겪는다.
• 다중 에이전트(n > 2) 주행 시나리오에 일반화 가능한 대칭적이고 확장 가능한 딥 강화학습 아키텍처를 설계하기 위해.
• 실제 보행자 환경에서 인간의 보행 속도로 실시간으로 완전 자율 주행이 가능한 로봇 차량의 성능을 입증하기 위해.
• 명시적인 행동 코딩 없이도 협동적 충돌 회피를 통해 사회적으로 타당한 행동이 자연스럽게 유도되는지 검증하기 위해.

제안 방법

• 이 방법은 사회적 규범 위반(예: 안전 거리 이하, 부적절한 지나다니기)에 대해 벌점을 주는 방식으로 누적 희박 보상(스퍼스 리워드)을 극대화하는 정책을 학습하기 위해 딥 강화학습을 사용한다.
• 에이전트 식별에 관계없이 불변성을 확보하기 위해 대칭 신경망 아키텍처를 사용함으로써 다중 에이전트 시나리오(n > 2)로의 일반화를 가능하게 한다.
• 상태 표현은 LiDAR와 스테레오 카메라 데이터로부터 유도된 주변 보행자의 상대적 위치, 속도 및 추정 크기(편안한 거리 영역 포함)를 포함한다.
• 행동 공간은 확산 맵 기반 글로벌 플래너를 통해 계산된 자유 공간 방향 집합에서 선택된 타당한 속도 벡터로 구성된다.
• 보상 함수는 충돌과 안전 거리 위반(예: 1m 미만)에 대해 벌점을 주며, 목적지 하위목표 향한 진전과 오른쪽 지나다니기 규범 준수를 장려하도록 설계된다.
• 시스템은 임베디드 하드웨어에서 10 Hz로 실시간으로 작동하며, 센서(리모컨, Realsense, 웹캠), 점유 맵, 그리고 SA-CADRL을 통한 국소 플래닝을 통합한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 정책이 인간의 궤적이나 특징을 직접 모방하지 않고도 오른쪽에서 지나다니기 같은 사회적 규범 준수 행동을 학습할 수 있는가?
• RQ2 협동적 충돌 회피 정책을 다중 에이전트 시나리오(n > 2)로 일반화하면서 대칭성과 확장성을 유지할 수 있는가?
• RQ3 이러한 정책이 실시간으로 인간의 보행 속도로 동적이고 보행자 밀도가 높은 실내 환경에서 완전 자율 주행을 가능하게 할 수 있는가?
• RQ4 명시적인 특징 매칭(예: 최소 간격 거리)이 없는 것이 전통적인 모의 학습 방법에 비해 더 나은 일반화 성능을 이끌어내는가?
• RQ5 사회적으로 타당한 행동이 행동 메커니즘의 세부 모델링 없이도 단지 규범 위반에 대한 벌점만을 보상 함수에 포함시킬 경우 자연스럽게 유도될 수 있는가?

주요 결과

• SA-CADRL 정책은 인간의 평균 보행 속도인 1.2 m/s로 보행자 밀도가 높은 실내 환경에서 로봇 차량의 자율 주행을 성공적으로 구현하였다.
• 목적지 평균 거리가 50미터 이상인 10회의 자율 주행 동안, 차량은 분당 평균 10.2명의 보행자를 2미터 이내로 만났지만, 안전 운전사의 간섭 없이 주행을 완료하였다.
• 로봇은 일관되게 보행자를 오른쪽에서 지나다니며 오른쪽 사회적 규범을 준수했으며, 명시적인 행동 코딩 없이도 이를 실현하였다.
• 시스템은 임베디드 하드웨어(Gigabyte Brix)에서 10 Hz로 실시간으로 작동하여 실생활 배포에 대한 계산 가능성 확인하였다.
• 대칭 신경망 아키텍처는 다중 에이전트 시나리오에서 안정적이고 일반화 가능한 행동을 가능하게 하였으며, 모델 기반 방법에서 흔히 발생하는 진동 경로 문제를 피하였다.
• 특징 매칭 기반 모의 학습에 비해 보상 기반 접근법이 보행자 행동의 변동성과 궤적 통계의 변동성에 민감하지 않아 성능이 뛰어나게 되었다.