[논문 리뷰] Socially Compliant Navigation Dataset (SCAND): A Large-Scale Dataset of Demonstrations for Social Navigation

Haresh Karnan, Anirudh Nair외 7명|arXiv (Cornell University)|2022. 03. 28.

Social Robot Interaction and HRI인용 수 4

한 줄 요약

이 논문은 다양한 실내 및 실외 환경에서 두 대의 다른 형태의 로봇(Boston Dynamics Spot 및 Clearpath Jackal)을 대상으로 인간 원격 조작를 통해 수집한 8.7시간 분량, 138개의 사회적으로 적합한 주행 경로를 포함하는 대규모, 제1인칭 시점 데이터셋인 SCAND를 소개한다. 이 데이터셋은 3D LiDAR, 조작기 명령, 오도메트리, 시각 및 자이로스코프 데이터 등 다중 모odal 데이터와 사회적 상호작용 레이블을 포함하며, 이는 사회적으로 적합한 글로벌 및 로컬 주행 정책을 학습하기 위한 모방 학습을 가능하게 하여 인간 평가에서 기준 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Social navigation is the capability of an autonomous agent, such as a robot, to navigate in a 'socially compliant' manner in the presence of other intelligent agents such as humans. With the emergence of autonomously navigating mobile robots in human populated environments (e.g., domestic service robots in homes and restaurants and food delivery robots on public sidewalks), incorporating socially compliant navigation behaviors on these robots becomes critical to ensuring safe and comfortable human robot coexistence. To address this challenge, imitation learning is a promising framework, since it is easier for humans to demonstrate the task of social navigation rather than to formulate reward functions that accurately capture the complex multi objective setting of social navigation. The use of imitation learning and inverse reinforcement learning to social navigation for mobile robots, however, is currently hindered by a lack of large scale datasets that capture socially compliant robot navigation demonstrations in the wild. To fill this gap, we introduce Socially CompliAnt Navigation Dataset (SCAND) a large scale, first person view dataset of socially compliant navigation demonstrations. Our dataset contains 8.7 hours, 138 trajectories, 25 miles of socially compliant, human teleoperated driving demonstrations that comprises multi modal data streams including 3D lidar, joystick commands, odometry, visual and inertial information, collected on two morphologically different mobile robots a Boston Dynamics Spot and a Clearpath Jackal by four different human demonstrators in both indoor and outdoor environments. We additionally perform preliminary analysis and validation through real world robot experiments and show that navigation policies learned by imitation learning on SCAND generate socially compliant behaviors

연구 동기 및 목표

• 다양한 환경에서 사회적으로 적합한 로봇 주행을 캡처하는 대규모 실세계 데이터셋의 부족을 해결하기 위해.
• 고정밀 인간 시연 데이터를 제공함으로써 이동형 로봇 주행을 위한 모방 학습을 가능하게 하기 위해.
• 실세계 검증을 통해 사회적으로 적합한 주행 정책의 개발 및 평가를 지원하기 위해.
• 사회적 주행 전략, 경로 분류, 역 강화 학습 연구를 위한 벤치마크를 제공하기 위해.
• 표현 학습, 실세계에서 시뮬레이션으로의 전이, 인간-로봇 상호작용 모델링 분야의 연구를 촉진하기 위해.

제안 방법

• Boston Dynamics Spot 및 Clearpath Jackal라는 두 대의 형태가 다른 로봇을 사용하여 총 25마일에 이르는 138개의 경로를 수집.
• 인간 원격 조작 중 3D LiDAR, 조작기 명령, 오도메트리, RGB 카메라 및 6자유도 자이로스코프 데이터 등 다중 모달 데이터 스트림을 기록.
• 횡단, 교통 규칙 준수, 군중 주변 회피와 같은 자연스러운 사회적 상호작용을 각 경로에 레이블링.
• 시연 데이터를 기반으로 행동 클로닝(BC) 에이전트를 학습시켜 글로벌 및 로컬 주행 정책을 동시에 학습.
• 인간이 참여하는 루프 테스트를 통해 기준 모델인 move_base 컨트롤러와 비교하여 학습된 정책의 사회적 적합성과 안전성을 평가.
• 분류기 기반 분석을 수행하여 서로 다른 인간 시연자가 사회적으로 적합한 주행 전략을 서로 다른 방식으로 사용하고 있음을 입증.

실험 결과

연구 질문

• RQ1 대규모 실세계 데이터셋인 인간 원격 조작 주행 데이터는 비정형 환경에서 다양한 사회적으로 적합한 행동을 캡처할 수 있는가?
• RQ2 다른 인간 시연자가 사회적으로 적합한 주행을 위해 서로 다른 전략을 얼마나 다양하게 사용하는가, 그리고 이러한 전략은 시연에서 학습될 수 있는가?
• RQ3 SCAND에서의 모방 학습을 통해 인간 평가자들이 사회적으로 적합하고 안전하다고 느끼는 주행 정책을 성공적으로 학습시킬 수 있는가?
• RQ4 복잡하고 다이나믹한 환경에서 SCAND에서의 행동 클로닝은 글로벌 및 로컬 주행 정책을 학습하는 데 얼마나 효과적인가?
• RQ5 SCAND는 궁극적으로 경로 예측, 분류, 역 강화 학습 등의 후속 작업을 위한 모델 학습에 활용될 수 있는가?

주요 결과

• 신경망 분류기가 두 명의 다른 인간 시연자 간 주행 전략을 식별하는 데 74.48%의 정확도를 달성하여, 데이터 내에서 서로 다른 사회적으로 적합한 전략이 존재한다는 것을 입증하였다.
• SCAND에서의 행동 클로닝을 통해 사회적으로 적합한 로컬 주행 정책이 성공적으로 학습되었으며, 인간 평가에서 단순한 move_base 기준 모델보다 뛰어난 성능을 보였다.
• 실세계 주행 시나리오 두 가지에서 인간 참가자들이 행동 클로닝 에이전트를 기준 에이전트보다 훨씬 더 사회적으로 적합하고 안전하다고 평가하였다.
• 이 데이터셋은 8.7시간의 시연, 138개의 경로, 실내 및 실외 환경에서 총 25마일의 주행 기록을 포함하며, 풍부한 다중 모달 센서 데이터와 사회적 상호작용 레이블을 제공한다.
• 이 데이터셋은 모방 학습, 경로 분류, 역 강화 학습, 실세계에서 시뮬레이션으로의 전이 등 다양한 연구 응용을 지원한다.
• SCAND는 지역 주행 규범(예: 오른쪽 주행) 연구를 가능하게 하며, 일반화 가능한 사회적 인지 능력을 갖춘 로봇 주행 정책 개발을 지원한다.