[논문 리뷰] Deep Learning based Pedestrian Inertial Navigation: Methods, Dataset and On-Device Inference

Changhao Chen, Peijun Zhao외 4명|arXiv (Cornell University)|2020. 01. 13.

Indoor and Outdoor Localization Technologies참고 문헌 34인용 수 4

한 줄 요약

이 논문은 원시 IMU 데이터를 사용한 실시간 보행자 관성 항법을 위한 경량 딥러닝 프레임워크인 L-IONet을 제안하고, 운동 캡처 기준값을 제공하는 대규모 고정밀 데이터셋인 옥스퍼드 관성 온도메트리 데이터셋(OxIOD)을 소개한다. 이 방법은 스마트폰과 스마트워치에서 정확한 온디바이스 추론을 달성하며, 손에 쥐고 다니는, 주머니에 넣은, 카트에 실린 등 다양한 운동 시나리오에서 기존의 PDR 및 이전의 DNN 모델을 능가한다.

ABSTRACT

Modern inertial measurements units (IMUs) are small, cheap, energy efficient, and widely employed in smart devices and mobile robots. Exploiting inertial data for accurate and reliable pedestrian navigation supports is a key component for emerging Internet-of-Things applications and services. Recently, there has been a growing interest in applying deep neural networks (DNNs) to motion sensing and location estimation. However, the lack of sufficient labelled data for training and evaluating architecture benchmarks has limited the adoption of DNNs in IMU-based tasks. In this paper, we present and release the Oxford Inertial Odometry Dataset (OxIOD), a first-of-its-kind public dataset for deep learning based inertial navigation research, with fine-grained ground-truth on all sequences. Furthermore, to enable more efficient inference at the edge, we propose a novel lightweight framework to learn and reconstruct pedestrian trajectories from raw IMU data. Extensive experiments show the effectiveness of our dataset and methods in achieving accurate data-driven pedestrian inertial navigation on resource-constrained devices.

연구 동기 및 목표

• 딥러닝 모델을 위한 훈련 및 평가에 사용할 수 있는 대규모, 고정밀, 공개 가능한 데이터셋의 부족을 해결한다.
• 보행자 관성 온도메트리에 대해 실시간, 온디바이스 추론이 가능한 경량 딥 네트워크 프레임워크를 개발한다.
• 다양한 사용자 운동 패tern과 기기 배치 상황에서도 원시 IMU 데이터로부터 정확하고 강건한 궤적 추정을 가능하게 한다.
• 학습 데이터 외의 새로운 환경과 운동 유형으로까지 일반화된 모델의 성능을 입증한다.

제안 방법

• 원시 IMU 시퀀스의 장기적 시간적 의존성을 모델링하기 위해 확장된 인과 컨볼루션(dilated causal convolutions, WaveNet 스타일)을 사용하는 경량 딥 네트워크인 L-IONet을 제안한다.
• 이중 브랜치 아키텍처를 설계한다: 한 브랜치는 원시 IMU 데이터(가속도계 및 자이로스코프)를 처리하여 3차원 위치를 예측하고, 다른 브랜치는 오차 드리프트를 제약하기 위해 속도 예측을 학습한다.
• 잔차 연결과 정규화 레이어를 통합하여 자원이 제한된 장치에서의 훈련 안정성과 모델 성능을 향상시킨다.
• OxIOD 데이터셋의 운동 캡처 기준값을 사용하여 지도 학습 방식으로 모델을 종합적으로 훈련시킨다.
• 스마트폰과 스마트워치에서 실시간 추론이 가능하도록 파ram터 수와 추론 지연 시간을 최소화하여 엣지 배포를 최적화한다.
• 향후 확장으로 더 낮은 자원 장치를 위한 모델 압축을 위해 지식 증류(knowledge distillation)를 활용한다.

실험 결과

연구 질문

• RQ1 자원이 제한된 엣지 장치에서 원시 IMU 데이터로부터 경량 딥러닝 모델이 정확한 보행자 관성 온도메트리 추정을 달성할 수 있는가?
• RQ2 기존의 DNN 기반 및 모델 기반(PDR 등) 관성 온도메트리 방법과 비교해 볼 때, 제안된 L-IONet 프레임워크는 성능과 효율성 면에서 어떻게 다른가?
• RQ3 단일 실내 환경에서 훈련된 모델이 훈련 중에 볼 수 없었던 새로운 환경과 운동 유형으로 얼마나 잘 일반화되는가?
• RQ4 확장된 인과 컨볼루션(WaveNet)이 원시 IMU 시퀀스에서 복잡한 인간 운동 역학을 모델링하는 데 얼마나 효과적인가?
• RQ5 세밀한 기준값을 제공하는 대규모 공개 데이터셋이 딥 관성 항법 분야의 연구를 어떻게 가속화할 수 있는가?

주요 결과

• 기본 PDR 알고리즘에 비해 L-IONet 모델은 주기적 운동이 아닌 토글러 운동과 같은 비주기적 운동에서 특히 정확도가 뛰어나며, 궤적 추정 성능이 뛰어나다.
• 손에 쥐고 다니는 경우와 가방에 넣은 경우에서 L-IONet은 WaveNet 기반 시간적 모델링 덕분에 복잡한 운동 역학을 더 잘 모델링하여 IONet 기반 기준 모델을 능가한다.
• 저사양 스마트폰과 스마트워치에서도 실시간 추론을 구현하여 온디바이스 배포의 실현 가능성을 입증한다.
• 특히 Vicon 운동 캡처 실내 환경에서만 훈련된 L-IONet는 두 층의 사무실 빌딩에서의 대규모 실내 항법으로도 효과적으로 일반화된다.
• 158개의 시퀀스로 구성되며 총 42.587km에 달하고 기준값 정확도가 0.5mm인 OxIOD 데이터셋은 향후 관성 항법 분야의 연구에 강력한 벤치마크를 제공한다.
• L-IONet의 WaveNet 기반 아키텍처는 기기의 고정된 위치가 아닐 경우 특히 자유형 운동을 더 효과적으로 포착하는 데에 LSTM 기반 IONet보다 뛰어나다.