[논문 리뷰] Deep Learning for Inertial Positioning: A Survey

Changhao Chen, Pan, Xianfei|arXiv (Cornell University)|2023. 03. 07.

Indoor and Outdoor Localization Technologies인용 수 5

한 줄 요약

이 종합 검토는 저가 MEMS 관성 센서를 사용한 관성 위치 측정을 위한 딥러닝 기법에 대해 포괄적인 리뷰를 제공한다. 센서 캘리브레이션, 드리프트 감소, 다중 센서 융합을 포함하며, 기존의 물리 기반 방법에 비해 오차 드리프트를 더 잘 다루는 데이터 기반 접근법이 뛰어나다는 점을 강조한다. 향후 연구를 위한 방향성으로는 효율성, 벤치마킹, 하이브리드 학습-물리 모델에 대해 제시한다.

ABSTRACT

Inertial sensors are widely utilized in smartphones, drones, robots, and IoT devices, playing a crucial role in enabling ubiquitous and reliable localization. Inertial sensor-based positioning is essential in various applications, including personal navigation, location-based security, and human-device interaction. However, low-cost MEMS inertial sensors' measurements are inevitably corrupted by various error sources, leading to unbounded drifts when integrated doubly in traditional inertial navigation algorithms, subjecting inertial positioning to the problem of error drifts. In recent years, with the rapid increase in sensor data and computational power, deep learning techniques have been developed, sparking significant research into addressing the problem of inertial positioning. Relevant literature in this field spans across mobile computing, robotics, and machine learning. In this article, we provide a comprehensive review of deep learning-based inertial positioning and its applications in tracking pedestrians, drones, vehicles, and robots. We connect efforts from different fields and discuss how deep learning can be applied to address issues such as sensor calibration, positioning error drift reduction, and multi-sensor fusion. This article aims to attract readers from various backgrounds, including researchers and practitioners interested in the potential of deep learning-based techniques to solve inertial positioning problems. Our review demonstrates the exciting possibilities that deep learning brings to the table and provides a roadmap for future research in this field.

연구 동기 및 목표

• 저가 MEMS 관성 항법 시스템에서 무한정 증가하는 오차 드리프트 문제를 해결하기 위해.
• 대규모 센서 데이터로부터 학습함으로써 관성 위치 측정 정확도를 향상시키는 딥러닝 기반 방법을 검토하기 위해.
• 현재 연구의 격차를 특정화하기 위해, 표준화된 벤치마크 부족, 모델 효율성, 실세계 구현에서의 강건성 문제를 포함하여.
• 물리적 제약 조건을 딥러닝과 융합하여 더 안전하고 신뢰할 수 있는 관성 위치 측정 시스템을 개발하기 위해.
• 데이터 기반 관성 항법 분야의 향후 연구를 위한 통합된 로드맵을 제공하기 위해, 신규 딥러닝 아키텍처와 학습 프레임워크를 포함하여.

제안 방법

• 관성 위치 측정 분야의 딥러닝 응용을 세 가지 주요 영역으로 체계적으로 분류함: 센서 캘리브레이션, 오차 드리프트 완화, 다중 센서 융합.
• 운동 패턴과 센서 노이즈 특성 학습에 사용되는 신경망 아키텍처(예: CNN, RNN, Transformer)를 검토함.
• 다양한 가속도 기반 항법과 엔드 투 엔드 딥러닝을 융합한 하이브리드 모델 분석을 통해 강건성을 향상함.
• IoT 및 VR/AR 시스템과 같은 저성능 장치에 배포 가능하도록 지식 증류와 같은 모델 압축 기법을 논의함.
• 다양한 사용자, 플랫폼, 운동 역학 조건을 포함한 다양한 데이터셋에서 학습함으로써 일반화 능력을 향상시키는 데이터 기반 접근법을 분석함.
• 신뢰성과 해석 가능성을 높이기 위해 물리적 제약 조건을 딥 신경망에 통합하는 방법을 제안함.

Figure 1 : Inertial sensors are ubiquitous in modern platforms such as smartphones, drones, intelligent vehicles, and VR/AR devices. They play a critical role in enabling completely egocentric motion tracking and positioning, making them essential for a range of applications.

실험 결과

연구 질문

• RQ1 저가 MEMS 센서를 사용한 관성 항법 시스템에서 딥러닝을 어떻게 효과적으로 오차 드리프트를 감소시킬 수 있는가?
• RQ2 다양한 운동 패턴과 기기에서 관성 위치 측정 정확도를 향상시키는 데 핵심적인 딥러닝 아키텍처와 학습 전략은 무엇인가?
• RQ3 자원 제약이 있는 플랫폼(예: 스마트폰, 드론)에서 효율적이고 배포 가능한 딥러닝 모델을 만드는 방법은 무엇인가?
• RQ4 물리적 제약 조건이 데이터 기반 관성 위치 측정 모델의 강건성과 해석 가능성에 기여할 수 있는 역할은 무엇인가?
• RQ5 딥러닝 기반 관성 위치 측정의 벤치마킹에서 주요 과제는 무엇이며, 표준화된 데이터셋은 향후 연구를 어떻게 가속화할 수 있는가?

주요 결과

• 기존 칼만 필터링 및 순수한 데드레코닝에 비해 딥러닝 기반 관성 위치 측정 방법은 오차 드리프트를 크게 감소시키며, 특히 주기적인 인간 보행 모델 또는 ZUPT와 조합할 경우 효과적이다.
• 다양한 가속도 기반 항법과 딥러닝을 융합한 하이브리드 모델은 장기 추적 시나리오에서 강건성과 일반화 능력이 향상됨을 보여준다.
• 지식 증류와 같은 모델 압축 기법을 통해 계산 및 메모리 자원이 제한된 엣지 디바이스에 대규모 DNN를 배포할 수 있다.
• 강력한 성능에도 불구하고, 물리적 제약 조건이 부족한 딥러닝 모델은 돌연 고장이 발생할 수 있어 하이브리드 학습-물리 프레임워크의 필요성이 강조된다.
• 표준화된 벤치마크와 다양한 고정밀 데이터셋의 부족은 현재의 방법들이 다양한 플랫폼과 사용자 간에 공정한 비교 및 일반화를 제한하고 있다.
• 대비 학습, 자기지도 학습, 확산 모델과 같은 새로운 딥러닝 프레임워크는 더 적은 감독 정보로도 관성 위치 측정 성능을 향상시킬 잠재력을 보이고 있다.

Figure 2 : An overview of existing deep learning based inertial sensor calibration methods