[논문 리뷰] The Magni Human Motion Dataset: Accurate, Complex, Multi-Modal, Natural, Semantically-Rich and Contextualized

Tim Schreiter, Tiago Rodrigues de Almeida외 10명|arXiv (Cornell University)|2022. 08. 31.

Video Surveillance and Tracking Methods인용 수 7

한 줄 요약

이 논문은 운동 캡처, 눈의 움직임 추적, 로봇 센서 데이터를 사용하여 의미적 풍부한 실내 환경에서 자연스럽고 목표 지향적인 인간 운동을 고해상도로 다중 모odal하게 캡처한 Magni 인간 운동 데이터셋을 소개한다. 이 데이터셋은 느슨하게 스크립트된 작업과 음성 명령을 통해 유도된 현실적인 행동을 보이는 160분 분량의 다양한 맥락 인식 인간-로봇 공동 보행을 포함하며, 인간 운동 예측, HRI 및 맥락 인식 로봇 기술 연구를 위한 기반을 제공한다.

ABSTRACT

Rapid development of social robots stimulates active research in human motion modeling, interpretation and prediction, proactive collision avoidance, human-robot interaction and co-habitation in shared spaces. Modern approaches to this end require high quality datasets for training and evaluation. However, the majority of available datasets suffers from either inaccurate tracking data or unnatural, scripted behavior of the tracked people. This paper attempts to fill this gap by providing high quality tracking information from motion capture, eye-gaze trackers and on-board robot sensors in a semantically-rich environment. To induce natural behavior of the recorded participants, we utilise loosely scripted task assignment, which induces the participants navigate through the dynamic laboratory environment in a natural and purposeful way. The motion dataset, presented in this paper, sets a high quality standard, as the realistic and accurate data is enhanced with semantic information, enabling development of new algorithms which rely not only on the tracking information but also on contextual cues of the moving agents, static and dynamic environment.

연구 동기 및 목표

• 로봇 공학 연구를 위한 의미적 및 맥락적 풍부함을 지닌 고품질의 자연스러운 인간 운동 데이터셋의 부족을 보완한다.
• 기존 데이터셋이 스크립트화되거나 비자연스러운 인간 행동에 의존하고 다중 모달 센서 융합이 부족한 한계를 극복한다.
• 일방통행 통로, 경계 구역 등 의미적 단서를 통합하여 맥락 인식 운동 모델링을 가능하게 한다.
• 운동 캡처, 눈의 움직임 추적기, 이동식 로봇 센서에서의 고정밀도 동기화 데이터를 통해 고도화된 인간-로봇 상호작용 시스템 개발을 지원한다.
• 실제 목적을 가진 주행 패턴을 기반으로 인간 운동 예측, 장애물 회피, 인간-로봇 협업 연구를 촉진한다.

제안 방법

• 정적 장애물, 동적 로봇, 의미적 표시(예: 일방통행 통로, 경계 구역)를 갖춘 목적적으로 설계된 실내 실험실 환경에서 데이터 수집을 수행한다.
• 참가자들이 랜덤한 목표 카드와 Discord를 통한 음성 명령을 받는 느슨한 스크립트 프로토콜을 사용하여 자연스럽고 목표 지향적인 주행을 유도한다.
• 운동 캡처 궤적, 3개의 눈 추적기(Tobii Glasses 2/3, Pupil Invisible Glasses)에서 기록된 2D 및 3D 눈 향하는 방향 벡터, 그리고 차량 내 센서 데이터(LiDAR, RGB, RGB-D, 피시아 카메라)를 포함한 동기화된 다중 모달 데이터를 기록한다.
• 차량 운동 모드로 차량의 차동 구동 방식과 옴니디렉셔널 방식을 도입하여 다양한 운동 역학 조건에서 인간-로봇 충돌 회피 행동을 연구한다.
• 4일 간의 데이터 수집 기간 동안 30명의 참가자들이 참여하였으며, 각 일자에 3가지 시나리오에 대해 각각 2가지 변형이 있는 총 10회, 4분씩 주행한 데이터를 확보하였다.
• ROS 기반의 rosbag 녹화를 통해 센서 스트림(사람 추적 출력 및 환경 지ap 등)을 동기화하고 보존한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 반복적인 스크립트 없이 자연스럽고 목표 지향적이며 사회적으로 인지 가능한 행동을 보장하면서 인간 운동 데이터를 수집할 수 있는가?
• RQ2 의미적 환경적 단서(예: 일방통행 통로, 경계 구역 등)가 공동 사용되는 실내 공간 내 인간의 주행 패턴과 의사결정에 어느 정도 영향을 미치는가?
• RQ3 운동 캡처, 눈 향하는 방향, 로봇 센서 데이터를 융합한 다중 모달 센서 융합이 인간-로봇 상호작용에서 인간 행동 모델링에 어떻게 기여하는가?
• RQ4 다른 로봇 운동 역학(차동 구동 대비 옴니디렉셔널)이 인간의 주행 전략과 충돌 회피 행동에 어떤 영향을 미치는가?
• RQ5 맥락적으로 풍부하고 의미적으로 주석이 달린 운동 데이터는 운동 예측 및 다이내믹스 지도 학습 모델의 성능 향상과 해석 가능성 향상에 기여하는가?

주요 결과

• 30명의 참가자들이 참여한 160분 분량의 인간 운동 데이터를 확보하였으며, 하루 10회, 각 4분씩 주행하여 하루 평균 40분 분량의 다중 모달 데이터를 확보하였다.
• 느슨한 스크립트화된 작업과 음성 지시에 의한 목표 변경으로 참가자들이 반복적이거나 비자연스러운 운동을 보이지 않고 자연스럽고 목적 중심적인 주행 패턴을 보였다.
• 일방통행 통로 및 경계 구역과 같은 의미적 맥락의 도입으로 참가자들이 고위험 지역을 피하고 지정된 유량 패턴을 따르는 명백한 행동 적응이 관찰되었다.
• 3D 글로벌 프레임 기반의 눈 향하는 방향 데이터는 환경적 특징에 대응하는 눈의 주의 패턴을 드러내며, 주의 기반 주행 분석을 가능하게 하였다.
• 궤적에서 유도된 다이내믹스 지도에서는 경계 구역 근처에서 유량 강도가 감소하고, 시나리오 1B에서는 명확한 일방통행 패턴이 확인되어 맥락 인식 행동이 확인되었다.
• LiDAR 포인트 클라우드 및 RGB/RGB-D 이미지를 포함한 로봇 센서 데이터는 RViz에서 성공적으로 동기화되고 시각화되어, 인식 및 추적 작업에 후속 활용이 가능하였다.