[논문 리뷰] IDOL: Inertial Deep Orientation-Estimation and Localization

Scott Sun, Dennis Melamed외 1명|arXiv (Cornell University)|2021. 02. 08.

Indoor and Outdoor Localization Technologies참고 문헌 28인용 수 5

한 줄 요약

IDOL은 관성 보행자 정위치를 위한 두 단계, 종단 간(end-to-end) 딥러닝 파이프라인을 제안한다. 먼저 LSTM과 확장된 칼만 필터(EKF)를 사용해 관성 측정 장치(IMU) 데이터에서 기기 방향을 추정하고, 보정된 방향을 이용해 다른 RNN를 통해 3D 위치 추정을 향상시킨다. 15명의 피험자, 20시간 분량의 다중 건물 데이터셋에서 최신 기술 수준을 달성하며, 이전 방법들보다 방향 오차와 정위치 오차를 크게 감소시킨다.

ABSTRACT

Many smartphone applications use inertial measurement units (IMUs) to sense movement, but the use of these sensors for pedestrian localization can be challenging due to their noise characteristics. Recent data-driven inertial odometry approaches have demonstrated the increasing feasibility of inertial navigation. However, they still rely upon conventional smartphone orientation estimates that they assume to be accurate, while in fact these orientation estimates can be a significant source of error. To address the problem of inaccurate orientation estimates, we present a two-stage, data-driven pipeline using a commodity smartphone that first estimates device orientations and then estimates device position. The orientation module relies on a recurrent neural network and Extended Kalman Filter to obtain orientation estimates that are used to then rotate raw IMU measurements into the appropriate reference frame. The position module then passes those measurements through another recurrent network architecture to perform localization. Our proposed method outperforms state-of-the-art methods in both orientation and position error on a large dataset we constructed that contains 20 hours of pedestrian motion across 3 buildings and 15 subjects.

연구 동기 및 목표

• 정확하지 않은 스마트폰 방향 추정이 위치 추정으로 오차가 누적되는 관성 옹도(inertial odometry)의 핵심적 한계를 해결한다.
• 일반 스마트폰의 IMU 데이터만을 사용해 방향과 정위치를 동시에 최적화하는 데이터 기반, 종단 간(end-to-end) 시스템을 개발한다.
• 다양한 건물과 피험자들을 포함한 대규모, 다중 건물, 다중 피험자 데이터셋을 구축하여 6자리 자세 정보(3D 위치 + 방향)를 제공함으로써 관성 정위치 연구를 지원한다.
• 방향 추정 향상이 대규모 복잡한 환경에서 정위치 정확도에 측정 가능한 기여를 한다는 것을 입증한다.

제안 방법

• 자기장계, 자elo스코프, 가속도계의 원시 IMU 데이터(짧은 시간 윈도우)를 처리하기 위해 순환 신경망(RNN, 특히 LSTM)을 사용해 초기 방향 추정을 수행한다.
• LSTM 출력을 확장된 칼만 필터(EKF)와 통합하여 방향 추정을 정밀화하고 안정화시켜 노이즈와 드리프트를 감소시킨다.
• 추정된 방향을 사용해 원시 IMU 측정치를 글로벌 기준 프레임으로 회전시켜 센서 프레임 데이터를 보정한다.
• 보정된 IMU 측정치를 두 번째 RNN 기반 네트워크에 통과시켜 종단 간 학습을 통해 2D 또는 3D 기기 위치를 추정한다.
• 지상 진실 6자리 자세 정보를 사용해 두 단계의 지도 학습 방식으로 전체 시스템을 훈련한다: 먼저 방향 추정, 그 다음 위치 추정.
• 다양한 운동 패tern과 자기 환경을 포함한 다수의 건물에서의 훈련을 통해 모델의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 방향 추정기법이 기존 스마트폰 방향 추정 방식에 비해 관성 보행자 정위치 추정 정확도를 크게 향상시킬 수 있는가?
• RQ2 다양한 자기장 및 구조적 특성을 지닌 건물 간에서 종단 간 관성 정위치 추정의 성능은 어떻게 변화하는가?
• RQ3 학습된 방향 모듈이 대규모 실생활 환경에서 드리프트를 얼마나 줄이고 위치 추정을 향상시킬 수 있는가?
• RQ4 새로운 건물이나 자기 환경에서 일반화할 때 데이터 기반 관성 정위치 추정의 실패 모드는 무엇인가?
• RQ5 플러그인 형태의 방향 모듈이 재학습 없이도 기존 관성 옹도 시스템의 성능을 향상시킬 수 있는가?

주요 결과

• IDOL은 20시간 분량의 다중 건물 데이터셋에서 기존 최신 기술 수준의 방법들을 능가하며, 평균 궤적 오차(ATE)와 상대적 궤적 오차(RTE) 모두를 낮춘다.
• iPhone 8의 기본 방향 추정 방식과 비교해 방향 오차를 20° 이상 감소시켜 후속 정위치 추정의 정확도를 크게 향상시켰다.
• 플러그인 구성 요소로 사용될 경우, RoNIN 및 TLIO와 같은 기존 모델의 성능을 향상시켜 지상 진실 방향 정보를 사용할 때의 성능 한계에 거의 도달한다.
• 다양한 데이터로 훈련한 후, 알려지지 않은 피험자와 건물에 대해서도 잘 일반화되지만, 강한 자기 왜곡 환경에서는 성능이 저하된다.
• 자기계 센서 데이터의 사용은 자기 환경에서 정확한 방향 추정을 가능하게 하지만, 새로운 건물에서 다른 자기장이 존재할 경우 실패 모드를 유발할 수 있다.
• 교차 건물 평가에서 분포 이탈(distribution shift)로 인해 위치 추정이 실패하며, 실생활 배포에서 데이터 기반 관성 정위치 추정의 핵심 과제를 드러낸다.