[논문 리뷰] Fusion-DHL: WiFi, IMU, and Floorplan Fusion for Dense History of Locations in Indoor Environments

Sachini Herath, Saghar Irandoust외 4명|arXiv (Cornell University)|2021. 05. 18.

Indoor and Outdoor Localization Technologies참고 문헌 23인용 수 4

한 줄 요약

이 논문은 WiFi, 자이로스코프 및 플로어플랜 데이터를 융합하여 고밀도이고 매우 정확한 실내 위치 기록을 생성하는 멀티모달 융합 시스템인 Fusion-DHL을 제안한다. 관성 항법을 WiFi 기반 지리적 위치 보정과 융합하고, 플로어플랜 일관성을 위해 CNN을 활용해 궤적을 보정함으로써, 약 5m의 RMSE를 달성하여 현재 최고 수준의 성능(예: Google Fused Location Provider)보다 2배 더 정확하고, 수개의 주기 차이만큼 고밀도이다.

ABSTRACT

The paper proposes a multi-modal sensor fusion algorithm that fuses WiFi, IMU, and floorplan information to infer an accurate and dense location history in indoor environments. The algorithm uses 1) an inertial navigation algorithm to estimate a relative motion trajectory from IMU sensor data; 2) a WiFi-based localization API in industry to obtain positional constraints and geo-localize the trajectory; and 3) a convolutional neural network to refine the location history to be consistent with the floorplan. We have developed a data acquisition app to build a new dataset with WiFi, IMU, and floorplan data with ground-truth positions at 4 university buildings and 3 shopping malls. Our qualitative and quantitative evaluations demonstrate that the proposed system is able to produce twice as accurate and a few orders of magnitude denser location history than the current standard, while requiring minimal additional energy consumption. We will publicly share our code, data and models.

연구 동기 및 목표

• 접촉 추적 및 공간 이용 분석과 같은 애플리케이션을 위한 고밀도이고 정확한 실내 위치 기록 시스템의 부족을 해결하기 위해.
• 현재 시스템의 한계—낮은 업데이트 주기와 높은 에너지 소비—를 극복하기 위해, 고밀도이고 오프라인에서의 위치 기록 추론이 가능한 시스템을 제공하기 위해.
• 관성, 무선, 공간적 맥락 데이터를 통합함으로써 기존 솔루션을 초월한 정밀도 향상을 위해.
• 특수 하드웨어가 필요 없이 표준 스마트폰에서 작동하는 확장 가능하고 에너지 효율적인 시스템을 개발하기 위해.
• 향후 연구를 위해 다양한 실내 환경에서의 참값 위치 데이터를 포함한 새로운 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• 원시 IMU 센서 데이터에서 상대 운동 궤적을 추정하기 위해 최첨단 데이터 기반 관성 항법 알고리즘인 RoNIN을 사용한다.
• Google Fused Location Provider (FLP) API를 활용해 희소한 WiFi 기반의 글로벌 위치 고정점을 확보하고, 관성 궤적을 지도에 정렬한다.
• 두 단계의 최적화 프로세스를 적용하여, FLP 위치에서의 편차를 최소화하면서도 플로어플랜 기하학적 구조를 존중하도록 궤적을 보정한다.
• 플로어플랜 일관성을 강화하기 위해 벽을 통과하거나 비보행 영역에 진입하는 것을 방지하기 위해 페널티를 적용하는 컨volutional 신경망(CNN)을 사용해 궤적을 추가로 보정한다.
• 미리 정의된 건물 및 플로어플랜 외부 환경에서도 일반화 능력을 향상시키기 위해 합성 데이터 증강 기법을 활용한다.
• 메모리 사용량을 줄이고 추론 효율성을 향상시키기 위해 FLP 위치 클러스터 기반으로 플로어플랜 이미지를 자르는 방식을 사용한다.

Figure 1: System pipeline: We use a data-driven inertial algorithm to estimate relative motion trajectories from IMU sensor data. We geo-localize the trajectory with a floorplan by solving an optimization problem subject to the constraints from the state-of-the-art Indoor GPS system (i.e., Google Fu

실험 결과

연구 질문

• RQ1 WiFi, IMU 및 플로어플랜 데이터의 융합이 기존 시스템에 비해 실내 위치 기록의 정확도와 밀도를 크게 향상시킬 수 있는가?
• RQ2 CNN 기반 보정 단계가 플로어플랜 일관성을 강화하고 궤적 이탈을 수정하는 데 얼마나 효과적인가?
• RQ3 학습 중에 볼 수 없었던 다양한 건물 유형과 플로어플랜에 대해 시스템의 일반화 능력은 어느 정도인가?
• RQ4 표준 스마트폰에서 낮은 에너지 소비를 유지하면서도 높은 정확도와 밀도를 달성할 수 있는가?
• RQ5 Google Fused Location Provider와 같은 산업 표준과 비교했을 때, 제안된 방법의 성능은 업데이트 주기와 위치 오차 측면에서 어떻게 나타나는가?

주요 결과

• 제안된 Fusion-DHL 시스템은 평균 RMSE가 약 5m를 기록하여 현재 최고 수준의 성능(예: Google Fused Location Provider)의 오차(12m)의 약 절반 수준이다.
• 시스템은 50Hz의 높은 빈도로 위치 기록을 생성하여, FLP 시스템의 1/60Hz 업데이트 주기와 비교해 수개의 주기 차이만큼 고밀도이다.
• 단일 단계 처리 대비 두 번째 최적화 및 CNN 반복 처리를 추가함으로써 약 1m의 국소화 오차 감소가 관찰되어 반복적 보정의 유용성을 입증한다.
• 새로운 쇼핑몰과 같은 볼 수 없는 건물 환경에서도 시스템은 일관되게 10m 이내의 오차를 유지하며, FLP 및 MapCraft를 모두 능가하는 성능을 보였다.
• 합성 학습 데이터의 사용으로 모든 테스트 환경에서 평균 국소화 오차가 6.85m에서 5.57m로 감소하여 일반화 능력 향상에 기여함을 확인하였다.
• 정성적 결과에서는 CNN이 궤적의 벽이나 엘리베이터를 통과하는 것을 효과적으로 방지하고, FLP나 MapCraft에서 누락된 고주파 운동 특징을 잘 유지함을 확인할 수 있었다.

Figure 2: Quantitative evaluation: Localization accuracy for 4 groups of test data (data groups described in VI-A ). We compare the proposed approach (DHL) against four competing methods and two variants of our system. Each bar shows the mean and the first/third quartiles of the localization errors.