[논문 리뷰] The LuViRA Dataset: Synchronized Vision, Radio, and Audio Sensors for Indoor Localization

Ilayda Yaman, Guoda Tian외 12명|arXiv (Cornell University)|2023. 02. 10.

Indoor and Outdoor Localization Technologies인용 수 4

한 줄 요약

LuViRA 데이터셋은 실내 환경에서 시각, 무선, 음성 센서의 동기화된 고정밀 측정을 제공하여 센티미터 수준의 실내 위치 결정을 위한 다중 모odal 센서 융합 연구를 가능하게 한다. 0.5 mm의 6DoF 지상 진실값을 가진 88개의 궤적, 12개 마이크로폰 음성, RGB/깊이 영상, 자이로스코프/가속도계 데이터, 그리고 대량의 MIMO 채널 응답을 포함하며, 모든 데이터는 정밀한 시간 동기화를 통해 강력한 알고리즘 평가 및 개발을 가능하게 한다.

ABSTRACT

We present a synchronized multisensory dataset for accurate and robust indoor localization: the Lund University Vision, Radio, and Audio (LuViRA) Dataset. The dataset includes color images, corresponding depth maps, inertial measurement unit (IMU) readings, channel response between a 5G massive multiple-input and multiple-output (MIMO) testbed and user equipment, audio recorded by 12 microphones, and accurate six degrees of freedom (6DOF) pose ground truth of 0.5 mm. We synchronize these sensors to ensure that all data is recorded simultaneously. A camera, speaker, and transmit antenna are placed on top of a slowly moving service robot, and 89 trajectories are recorded. Each trajectory includes 20 to 50 seconds of recorded sensor data and ground truth labels. Data from different sensors can be used separately or jointly to perform localization tasks, and data from the motion capture (mocap) system is used to verify the results obtained by the localization algorithms. The main aim of this dataset is to enable research on sensor fusion with the most commonly used sensors for localization tasks. Moreover, the full dataset or some parts of it can also be used for other research areas such as channel estimation, image classification, etc. Our dataset is available at: https://github.com/ilaydayaman/LuViRA_Dataset

연구 동기 및 목표

• 실내 위치 결정 연구를 위한 시각, 무선, 음성 센서를 융합한 공개적이고 동기화된 데이터셋의 부족을 보완한다.
• 정확도, 신뢰성, 에너지 효율성을 향상시키는 다중 모달 위치 결정 알고리즘의 개발 및 평가를 가능하게 한다.
• 카메라, RF 모듈, 마이크로폰의 데이터 융합을 위한 벤치마크를 제공하여 개별 센서의 한계를 극복한다.
• 위치 결정을 초월한 연구, 예를 들어 채널 추정, 음성 소스 위치 결정, 영상 분류를 지원한다.
• 스마트 팩토리 및 자율 서비스 로봇과 같은 동적 실내 환경에서 실시간으로 센티미터 수준의 위치 결정을 촉진한다.

제안 방법

• 모션 캡처 스튜디오에 카메라, loudspeaker, 송신 안테나를 장착한 이동식 산업용 로봇(MIR200)을 설치하여 88개의 동기화된 궤적을 기록한다.
• RGB 영상, 깊이 맵, 자이로스코프/가속도계 읽기, 12개 마이크로폰 음성, 대량의 MIMO 채널 상태 정보(CSI)를 수집하며, 모션 캡처 시스템으로부터 0.5 mm의 6DoF 지상 진실값을 확보한다.
• 모든 센서 데이터를 시각, 음성, 무선, 관성 시스템 간에 밀리초 이내 정밀도로 동기화하기 위해 시간 동기화 장치를 사용한다.
• 각 궤적 기록 전후로 1초 간격으로 데이터를 기록하여 이동의 전체 시간적 범위를 확보한다.
• 음성 기반 위치 결정 알고리즘의 노이즈 억제를 지원하기 위해 배경 노이즈 기록을 제공한다.
• 모든 센서 시스템을 캘리브레이션하고, 온도 및 케이블 간섭과 같은 환경 요인을 데이터 해석 시 고려한다.

실험 결과

연구 질문

• RQ1 시각, 무선, 음성 센서 데이터 융합이 동적 실내 환경에서 위치 결정 정확도와 신뢰성에 어떻게 기여하는가?
• RQ2 동기화된 다중 모달 데이터가 실시간 응용 프로그램에서 위치 결정 지연과 전력 소비를 얼마나 줄일 수 있는가?
• RQ3 온도 변화 및 이동하는 장애물과 같은 환경 요인이 시각, 음성, 무선 기반 위치 결정 시스템 성능에 미치는 영향은 무엇인가?
• RQ4 실제 구현에서 케이블 간섭과 시야 차단이 무선 및 시각 기반 위치 결정에 미치는 영향은 어떠한가?
• RQ5 LuViRA 데이터셋은 6G 및 저전력 위치 결정 시스템에서 AI/ML 모델의 훈련 및 평가를 위한 신뢰할 수 있는 벤치마크로 활용될 수 있는가?

주요 결과

• LuViRA 데이터셋은 88개의 동기화된 실내 궤적과 0.5 mm의 6DoF 지상 진실값을 제공하여 센티미터 수준의 정밀도를 가능하게 한다.
• 시각 기반 위치 결정은 밝고 정적인 조건에서는 매우 정확하지만 어두운 환경에서는 실패한다; 반면 음성 및 무선 시스템은 저조도 조건에서도 기능을 유지한다.
• 높은 노이즈 환경에서는 음성 기반 위치 결정의 성능이 심각하게 떨어지며, 특히 사람들이 움직일 경우 프레임 손실이 발생한다.
• 무선 기반 위치 결정은 사람과 케이블에 의한 차단 영향을 받으며, 특히 사람의 움직임이 있는 동적 궤적에서 뚜렷하게 영향을 받는다.
• 데이터셋은 음성 기반 위치 결정 알고리즘의 노이즈 억제를 지원하기 위해 배경 노이즈 기록을 포함하고 있어, 노이즈가 많은 환경에서의 신뢰성을 향상시킨다.
• 모션 캡처 스튜디오 내 온도 상승(최대 28 °C)은 특히 일정한 시야 및 송신 방향을 갖는 '그리드' 궤적에서 무선 및 음성 전파에 영향을 줄 수 있다.