[논문 리뷰] Convolutional Mixture Density Recurrent Neural Network for Predicting User Location with WiFi Fingerprints

Weizhu Qian, Fabrice Lauri외 1명|arXiv (Cornell University)|2019. 11. 21.

Indoor and Outdoor Localization Technologies참고 문헌 20인용 수 8

한 줄 요약

이 논문은 WiFi 핀거프int를 사용한 고정밀 실내 사용자 위치 예측을 위한 새로운 하이브리드 딥러닝 모델인 1차원 컨볼루션 혼합 밀도 순환 신경망(Convolutional Mixture Density Recurrent Neural Network, CMDRNN)을 제안한다. 1D CNN을 통한 특징 추출, RNN을 통한 시간 동적 모델링, 그리고 혼합 밀도 네트워크를 통한 확률적 출력 예측을 결합함으로써, CMDRNN는 경로 1에서 6.25±0.80, 경로 2에서 8.67±0.23의 루트 평균 제곱 오차를 기록하며 기존 모델보다 유의미하게 뛰어난 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Predicting smartphone users activity using WiFi fingerprints has been a popular approach for indoor positioning in recent years. However, such a high dimensional time-series prediction problem can be very tricky to solve. To address this issue, we propose a novel deep learning model, the convolutional mixture density recurrent neural network (CMDRNN), which combines the strengths of convolutional neural networks, recurrent neural networks and mixture density networks. In our model, the CNN sub-model is employed to detect the feature of the high dimensional input, the RNN sub-model is utilized to capture the time dependency and the MDN sub-model is for predicting the final output. For validation, we conduct the experiments on the real-world dataset and the obtained results illustrate the effectiveness of our method.

연구 동기 및 목표

• WiFi 핀거프int 기반 실내 위치 측정에서 고차원적이고 비선형적인 시계열 예측 문제에 대응한다.
• 기존의 딥러닝 모델들이 평균 제곱 오차 손실을 사용하고 복잡한 신호 감쇠 및 다중 경로 효과를 모델링하지 못하는 한계를 극복한다.
• 특징 추출, 시간적 모델링, 그리고 확률적 출력 예측을 통합한 유일한 딥러닝 아키텍처를 개발하여 위치 정확도를 향상시킨다.
• 입력 차원을 처리하기 위해 사전 학습된 오토에인코더가 필요 없도록 직접 CNN을 활용한다.
• 실제 데이터를 기반으로 모델을 평가하여 실생활 실내 위치 측정 환경에서의 효과성과 강건성을 검증한다.

제안 방법

• 고차원적 WiFi RSSI 벡터에서 공간적 특징을 추출하기 위해 시그모이드 및 ReLU 활성화 함수를 사용하는 1D 컨볼루션 신경망(CNN)을 적용한다.
• 사용자 궤적의 순차적 의존성을 시간에 따라 모델링하기 위해 GRU, LSTM 또는 일반 RNN 유닛을 사용하는 순환 신경망(RNN)을 사용한다.
• 2차원 좌표에 대한 조건부 밀도 함수를 예측하기 위해 출력 부분에 혼합 밀도 네트워크(MDN)를 통합하여 단일 결정론적 값이 아닌 확률 밀도 함수를 출력한다.
• MDN을 30개의 가우시안 혼합 성분으로 구성하며, 각 성분은 2차원 평균, 분산 및 혼합 가중치로 파arameter화되어 불확실성 인식 예측을 가능하게 한다.
• 예측된 혼합 밀도의 음의 로그 우도를 최소화하기 위해 RMSProp 옵티마이저를 사용하고 학습률을 1e-3로 설정하여 전체 모델을 엔드 투 엔드로 훈련한다.
• 입력 시퀀스 길이를 5로 설정하며, 각 입력은 누락된 액세스 포인트가 100 dBm으로 보간된 489차원 RSSI 벡터로 구성된다.

실험 결과

연구 질문

• RQ1 CNN, RNN, MDN를 융합한 하이브리드 딥러닝 모델이 기존 모델 대비 WiFi 핀거프int 기반 실내 사용자 위치 예측 정확도를 향상시킬 수 있는가?
• RQ2 MDN를 사용해 출력을 밀도 함수로 모델링할 경우, MSE 손실을 사용한 직접 회귀 대비 일반화 성능과 불확실성 추정 성능이 향상되는가?
• RQ3 RNN 유형의 선택(GRU, LSTM, 일반 RNN)이 순차적 위치 예측에서 CMDRNN 아키텍처의 성능에 어떤 영향을 미치는가?
• RQ4 MDN 구성 요소에서 최적의 가우시안 혼합 성분 수는 얼마인가? 이는 모델 복잡도와 예측 정확도 사이의 균형을 맞추는 데 기여하는가?
• RQ5 차원 축소를 위한 오토에인코더 전처리 없이도 CMDRNN 모델이 뛰어난 성능을 달성할 수 있는가?

주요 결과

• GRU 기반 RNN을 사용한 CMDRNN 모델은 경로 1에서 6.25±0.80, 경로 2에서 8.67±0.23의 최저 루트 평균 제곱 오차(RMSE)를 기록하여 모든 기준 모델을 압도했다.
• CMDRNN(GRU) 모델은 일반 RNN 기준 모델(경로 1에서 29.36±1.61) 대비 RMSE를 50% 이상 감소시키고, RNN+MDN 기준 모델(경로 1에서 23.86±5.50) 대비 30% 이상 감소시켰다.
• MDN의 최적 혼합 성분 수는 30으로 확인되었으며, 이 수치를 초과하거나 감소시키면 모두 더 높은 예측 오차가 발생했다.
• CMDRNN 모델은 CNN+RNN 모델(경로 1에서 34.26±3.04 RMSE)보다 유의미하게 뛰어난 성능을 보였으며, 이는 MDN 통합이 비선형성과 불확실성을 다루는 데 핵심적임을 시사한다.
• GRU 기반 CMDRNN는 성능과 훈련 안정성 사이의 최적의 균형을 달성했으며, 다수의 실행에서 예측의 분산이 가장 낮았다.
• 모델이 전체 확률 분포를 출력할 수 있는 능력 덕분에, 동적인 실내 환경에서의 실제 적용에 필수적인 불확실성 정량화가 가능해졌다.