[논문 리뷰] Socially Compliant Navigation through Raw Depth Inputs with Generative Adversarial Imitation Learning

Lei Tai, Jingwei Zhang외 2명|arXiv (Cornell University)|2017. 10. 06.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

이 논문은 정밀한 보행자 상태 추정이 필요 없이 원시 깊이 영상만을 사용하여 동적 환경에서 이동 로봇이 안전하고 사회적으로 적합한 경로를 탐색할 수 있도록 하는 생성적 적대적 모방 학습(GAIL) 방법을 제안한다. 기존의 행동 복제(BC) 방법에 비해 전문가의 행동 기록에서 시간적 의존성을 모델링함으로써 시뮬레이션 및 실제 터틀봇 플랫폼에서 실시간 성능을 기반으로 한 실제 적용에서도 뛰어난 안전성과 효율성을 달성한다.

ABSTRACT

We present an approach for mobile robots to learn to navigate in dynamic environments with pedestrians via raw depth inputs, in a socially compliant manner. To achieve this, we adopt a generative adversarial imitation learning (GAIL) strategy, which improves upon a pre-trained behavior cloning policy. Our approach overcomes the disadvantages of previous methods, as they heavily depend on the full knowledge of the location and velocity information of nearby pedestrians, which not only requires specific sensors, but also the extraction of such state information from raw sensory input could consume much computation time. In this paper, our proposed GAIL-based model performs directly on raw depth inputs and plans in real-time. Experiments show that our GAIL-based approach greatly improves the safety and efficiency of the behavior of mobile robots from pure behavior cloning. The real-world deployment also shows that our method is capable of guiding autonomous vehicles to navigate in a socially compliant manner directly through raw depth inputs. In addition, we release a simulation plugin for modeling pedestrian behaviors based on the social force model.

연구 동기 및 목표

• 로봇이 충돌을 피하면서 보행자에게 반응해야 하는 동적 환경에서 사회적으로 적합한 주행 도전 과제를 해결한다.
• 3D 레이저 레인지파서(LiDAR)와 같은 고비용 센서에 의존하는 정밀한 보행자 위치 및 속도 데이터가 필요한 기존 방법의 한계를 극복한다.
• 저비용 깊이 카메라에서 얻은 원시 깊이 영상만을 사용하여 실시간 주행을 가능하게 하여 실제 적용의 타당성을 높인다.
• 전역적으로 프레임 단위 행동 복제를 초월해 전문가 경로의 시간적 상관관계를 포착하는 학습 프레임워크를 개발한다.
• 미래 연구를 지원하기 위해 사회적 힘 모델 기반의 사회적 적합한 보행자 행동을 모델링한 시뮬레이션 플러그인과 데이터셋을 공개한다.

제안 방법

• 전문가의 행동 기록에서 얻은 데이터를 바탕으로 행동 복제(BC)를 사용하여 초기 주행 정책를 초기화한다.
• 전문가 경로의 잠재적인 마르코프 결정 과정을 모델링하기 위해 생성적 적대적 모방 학습(GAIL)을 적용하여 BC 정책를 개선한다.
• GAIL의 판별기(discriminator)를 활용해 전문가 경로와 전문가가 생성한 경로를 구분함으로써 에이전트가 사회적으로 적합한 행동을 모방하도록 유도한다.
• 정책 네트워크의 입력으로 원시 깊이 영상(400×250, 인텔 레이스캔 R200에서 캐포팅)을 처리하여 뷰로부터의 엔드 투 엔드 학습을 가능하게 한다.
• 보행자 운동을 사회적 힘 모델로 모의한 시뮬레이션 시나리오에서 수집한 10,000개의 상태-행동 쌍 데이터셋을 기반으로 정책을 학습한다.
• 최종 GAIL 정책를 NVIDIA Jetson TX2를 사용하여 15Hz에서 실시간 추론이 가능한 터틀봇 워플 플랫폼에 구현한다.

실험 결과

연구 질문

• RQ1 정밀한 보행자 상태 정보 없이 원시 깊이 영상에서 직접 GAIL 기반 정책이 사회적으로 적합한 주행 행동을 학습할 수 있는가?
• RQ2 보행자 주변을 이동할 때 GAIL은 행동 복제에 비해 안전성과 경로 효율성 측면에서 어떻게 향상되는가?
• RQ3 시뮬레이션에서 학습된 정책가 원시 깊이 입력만으로 실제 동적 환경에 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 제안된 시뮬레이션 플러그인과 데이터셋이 학습 및 평가를 위한 현실적인 보행자 상호작용을 모델링하는 데 얼마나 효과적인가?
• RQ5 다양한 사회적 주행 시나리오에서 안전성(min-dist)과 효율성(travel-time) 간의 성능 상충 관계는 어떠한가?

주요 결과

• GAIL 정책는 모든 6개의 시뮬레이션 시나리오에서 행동 복제 기반 기준 대비 더 큰 평균 최소 거리(min-dist)를 확보하여 안전성 측면에서 뚜렷한 향상을 보였다.
• 대부분의 시나리오에서 GAIL 정책는 행동 복제보다 더 효율적인 경로를 계획하여 이동 시간을 단축시켰다. 다만 두 개의 단순한 시나리오에서는 BC가 약간 더 빠르게 작동했다.
• 정성적 분석 결과, GAIL 정책는 보행자 사이를 통과하는 경우(d), 그리고 무리에서 탈출하는 경우(e)에서 성공적으로 주행한 반면, 행동 복제 정책는 이 두 경우에서 실패했다.
• 터틀봇 워플 플랫폼에서의 실제 실험 결과, GAIL 정책는 원시 깊이 영상과 15Hz에서 실시간 추론만으로도 사회적으로 적합한 주행을 가능하게 했다.
• 이 방법은 실제 로봇의 제한된 시야와 저속 제어 제약 조건을 효과적으로 처리하여 센서 및 구동 제약 조건에도 불구하고 뛰어난 강인성을 보였다.
• 공개된 사회적 힘 모델 기반의 시뮬레이션 플러그인과 데이터셋은 사회적으로 적합한 주행 정책의 일관되고 재현 가능한 학습 및 평가를 가능하게 했다.