[논문 리뷰] Role Playing Learning for Socially Concomitant Mobile Robot Navigation

Mingming Li, Rui Jiang외 2명|arXiv (Cornell University)|2017. 05. 29.

Reinforcement Learning in Robotics참고 문헌 46인용 수 3

한 줄 요약

이 논문은 동적인 환경에서 인간 동반자와 함께 사회적으로 동행하는 모바일 로봇을 위한 강화학습 프레임워크인 역할극 학습(RPL)을 제안한다. 실제 보행자 궤적을 사용해 상호작용을 시뮬레이션하고, PO-TRPO를 통해 신경망 정책을 최적화함으로써 로봇은 동반자와의 거리를 유지하면서도 장애물을 공동으로 회피하는 능력을 습득하게 되며, 실제 테스트에서 평균 동반자 거리 1.05m, 최소 보행자 간 거리 0.49m를 기록하여 인간과 유사한 주행 행동을 구현한다.

ABSTRACT

In this paper, we present the Role Playing Learning (RPL) scheme for a mobile robot to navigate socially with its human companion in populated environments. Neural networks (NN) are constructed to parameterize a stochastic policy that directly maps sensory data collected by the robot to its velocity outputs, while respecting a set of social norms. An efficient simulative learning environment is built with maps and pedestrians trajectories collected from a number of real-world crowd data sets. In each learning iteration, a robot equipped with the NN policy is created virtually in the learning environment to play itself as a companied pedestrian and navigate towards a goal in a socially concomitant manner. Thus, we call this process Role Playing Learning, which is formulated under a reinforcement learning (RL) framework. The NN policy is optimized end-to-end using Trust Region Policy Optimization (TRPO), with consideration of the imperfectness of robot's sensor measurements. Simulative and experimental results are provided to demonstrate the efficacy and superiority of our method.

연구 동기 및 목표

• 로봇이 다른 사람들과의 충돌을 피하면서도 인간 동반자와 함께 주행해야 하는 사회적 동행 주행(SCN)의 과제를 해결한다.
• 기존 방법들이 보행자를 정적 장애물로 간주하거나 공유된 의사결정 모델을 가정하는 데서 비롯하는 한계를 극복한다.
• 전역 지도, 알려진 목표점, 도메인 특화 기능이 필요 없는 일반화 가능한 센서 내성적인 주행 정책을 개발한다.
• 실제 보행자 궤적을 반영한 시뮬레이션 환경을 통해 효율적이고 안전한 정책 학습을 가능하게 한다.
• 로봇이 동반자와 자연스럽고 편안한 거리(평균 1.05m)를 유지하면서도 다른 보행자로부터의 안전을 확보한다.

제안 방법

• 센서 노이즈와 관측 불완전성을 고려하기 위해 SCN을 부분관측 마르코프 결정과정(POMDP)으로 공식화한다.
• 실제 도시 환경의 보행자 궤적 데이터셋을 활용해 보행자 행동과 복도 동역학을 반영한 시뮬레이션 학습 환경을 구축한다.
• 관측 불확실성을 다루고 온정책 학습을 가능하게 하는 부분관측 신뢰구역 정책 최적화(PO-TRPO)를 사용해 신경망 정책을 훈련한다.
• 역할극 학습(RPL)을 구현하여 각 학습 반복에서 로봇이 자신을 동반자로 가상으로 '연기'함으로써 무작위 선택된 보행자와의 공동 주행을 시뮬레이션한다.
• 목표 지점까지의 거리, 충돌 회피, 동반자 거리 지표에 기반한 희소 보상을 사용해 정책을 종합적으로 최적화한다.
• 실제 로봇의 제약 조건을 반영하기 위해 관측 공간에 센서 노이즈와 제한된 시야 범위 제약 조건을 직접 통합한다.

실험 결과

연구 질문

• RQ1 로봇이 동반자의 목표를 사전에 알지 못한 채 붐비고 동적인 환경에서 인간 동반자와 협력적으로 주행할 수 있는가?
• RQ2 로봇은 다른 보행자와의 충돌을 피하면서도 사회적으로 허용 가능한 거리(평균 1.05m)를 유지할 수 있는가?
• RQ3 실제 보행자 궤적을 사용한 시뮬레이션 환경에서 학습된 정책이 예측할 수 없는 실제 환경 상황으로 일반화되는 정도는 어느 정도인가?
• RQ4 공유된 의사결정 모델을 가정하지 않고도 로봇이 인간과 유사한 협력적 충돌 회피 행동을 보일 수 있는가?
• RQ5 센서 노이즈와 부분관측 상태는 사회적 동행 주행 정책의 내성성과 성능에 어떤 영향을 미치는가?

주요 결과

• 공동 충돌 회피 과정에서 대면 보행자와의 최소 평균 거리는 0.49m를 기록하여 안전하고 효과적인 장애물 주행 능력을 입증하였다.
• 동반자 평균 거리는 1.05m로, 인간 기준값인 1.0m와 매우 유사하여 강력한 동행 행동과 자연스러운 보행 동조 능력을 보였다.
• 로봇은 적극적으로 공간을 양보함으로써 '정지된 로봇 문제'를 성공적으로 방지하였으며, 예를 들어 다른 이들이 지나가도록 벽 쪽으로 이동하는 방식으로 행동하였다.
• 정책은 실제 환경 상황으로 잘 일반화되었으며, 사회적 주행 및 SCN 과제에서 인간 주행 성능과 유사한 성능을 기록하였다.
• RPL 프레임워크는 전역 지도, 알려진 목표점, 수작업으로 설계된 특징이 필요 없이 종합적인 학습을 가능하게 하여 일반화 능력을 향상시켰다.
• PO-TRPO는 부분관측 조건 하에서도 정책 최적화를 효과적으로 수행하여 센서 노이즈와 제한된 시야 제약 조건에 대한 내성성을 입증하였다.