[논문 리뷰] Hybrid Indoor Localization via Reinforcement Learning-based Information Fusion

Mohammad Salimibeni, Arash Mohammadi|arXiv (Cornell University)|2022. 10. 27.

Indoor and Outdoor Localization Technologies인용 수 5

한 줄 요약

이 논문은 블루투스 저전력(BLE) 도래각(AoA), 수신 신호 강도 지표(RSSI), 그리고 관성 측정 장치(IMU)-기반 보행자 자율주행(PDR)을 융합하기 위한 강화학습 기반 정보 융합 프레임워크인 RL-IFF를 제안한다. 딥 강화학습을 통해 실시간 환경 피드백에 따라 융합 가중치를 동적으로 최적화함으로써, RL-IFF는 다양한 실내 환경과 운동 패턴에서 뛰어난 정밀도와 안정성을 확보하며, 평균 제곱오차(MSE) 측면에서 단독 및 고정 가중치 융합 방법을 능가한다.

ABSTRACT

The paper is motivated by the importance of the Smart Cities (SC) concept for future management of global urbanization. Among all Internet of Things (IoT)-based communication technologies, Bluetooth Low Energy (BLE) plays a vital role in city-wide decision making and services. Extreme fluctuations of the Received Signal Strength Indicator (RSSI), however, prevent this technology from being a reliable solution with acceptable accuracy in the dynamic indoor tracking/localization approaches for ever-changing SC environments. The latest version of the BLE v.5.1 introduced a better possibility for tracking users by utilizing the direction finding approaches based on the Angle of Arrival (AoA), which is more reliable. There are still some fundamental issues remaining to be addressed. Existing works mainly focus on implementing stand-alone models overlooking potentials fusion strategies. The paper addresses this gap and proposes a novel Reinforcement Learning (RL)-based information fusion framework (RL-IFF) by coupling AoA with RSSI-based particle filtering and Inertial Measurement Unit (IMU)-based Pedestrian Dead Reckoning (PDR) frameworks. The proposed RL-IFF solution is evaluated through a comprehensive set of experiments illustrating superior performance compared to its counterparts.

연구 동기 및 목표

• 신호 변동, 노이즈, 환경 민감도로 인해 약화되는 단독 실내 위치 추정 시스템의 한계를 해결하기 위해.
• 유연성이 떨어지고 광범위한 레이블링이 필요한 전통적인 고정 가중치 또는 지도 학습 기반 융합 방법의 단점을 극복하기 위해.
• 실시간으로 적응 가능한 융합 프레임워크를 개발하여, 동적인 도시 및 스마트 시티 환경에서 역사적 데이터로부터 최적의 가중치 전략을 학습할 수 있도록 하기 위해.
• 특히 패닉 기간 동안의 접촉 추적과 같은 임상적 응용 분야에서 복잡하고 시간에 따라 변화하는 실내 환경에서의 위치 추정 정확도와 신뢰성을 향상시키기 위해.
• 다양한 환경와 운동 시나리오에서 제안된 RL 기반 융합 접근법의 견고성, 재현 가능성, 안정성을 평가하기 위해.

제안 방법

• 프레임워크는 세 가지 위치 추정 모odal리티를 통합한다: AoA 기반 BLE, 칼만 필터링(KF-PF)을 적용한 파article 필터링 기반 RSSI, 그리고 IMU 기반 보행자 자율주행(PDR).
• 딥 강화학습 에이전트는 실시간 환경 피드백에 기반해 세 가지 위치 추정 경로에 대한 최적의 융합 가중치를 동적으로 할당하도록 훈련된다.
• RL 에이전트는 상태가 현재 센서 읽기와 이전 추적 성능를 포함하고, 행동이 AoA, RSSI, PDR에 대한 가중치 벡터인 마르코프 결정 과정(MDP) 프레임워크 내에서 작동한다.
• 보상 함수는 정위치 추정 오차(MSE)를 최소화하도록 설계되어, 에이전트가 시간이 지남에 따라 추정 편차를 줄이는 정책을 학습하도록 유도한다.
• 훈련 과정은 1,000,000 에피소드와 1,000개의 테스트 에피소드를 포함하며, 연속적인 상태-행동 공간에서 Q-값 함수를 근사하기 위해 DQN 기반 딥 Q-네트워크를 사용한다.
• 시스템은 네 가지 운동 패턴(직사각형, 무작위, 두 가지 대각선 경로)을 포함한 세 가지 서로 다른 실내 환경에서 평가되어, 동적인 시나리오에 대한 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 융합 프레임워크가 실내 환경에서 정위치 추정 정밀도와 안정성 측면에서 고정 가중치 및 무작위 가중치 융합 전략을 능가할 수 있는가?
• RQ2 제안된 RL-IFF 프레임워크는 실제 실내 환경에서 다양한 신호 조건과 운동 패턴에 어떻게 적응하는가?
• RQ3 RL 기반 융합 방법은 개별 AoA, RSSI, PDR 시스템 대비 정위치 추정 오차(MSE)를 어느 정도 감소시키는가?
• RQ4 소음이 많고 동적인 조건에서, RL-IFF 프레임워크는 여러 훈련 및 테스트 런에 걸쳐 재현 가능하고 안정적인가?
• RQ5 레이블이 없는 데이터나 환경 동역학에 대한 사전 지식 없이도 RL 에이전트가 최적의 융합 가중치를 학습할 수 있는가?

주요 결과

• 모든 세 가지 테스트 환경에서 RL-IFF 프레임워크는 모든 운동 시나리오에서 가장 낮은 평균 제곱오차(MSE)를 기록했으며, 단독 AoA, RSSI-PF, PDR 시스템을 모두 능가했다.
• RL-IFF 프레임워크는 무작위 가중치 조정 및 동일 가중치 평균화보다 유의미하게 낮은 MSE를 보였으며, 일부 시나리오에서는 최대 60%의 감소를 기록했다.
• 50회의 반복 실행에서 높은 안정성과 낮은 분산을 보였으며, 그림 4에서 일관된 성능을 통해 안정적인 수렴을 확인했다.
• RL 에이전트는 동적 가중치 적응을 성공적으로 학습했으며, 시야 확보 조건에서는 AoA에 높은 가중치를 할당하고, 신호 손실 시에는 PDR을 우선시했다.
• 무작위 및 대각선 운동 패턴과 같은 도전적인 상황에서도 뛰어난 성능을 유지하여, 예측 불가능한 인간 운동에 대한 강건성을 입증했다.
• 결과는 시간에 따라 변화하는 실제 실내 위치 추정 작업에서 전통적 또는 히وري스틱 융합 방법보다 RL 기반 융합이 훨씬 효과적임을 확인한다.