[論文レビュー] Convolutional Mixture Density Recurrent Neural Network for Predicting User Location with WiFi Fingerprints

Weizhu Qian, Fabrice Lauri+1 more|arXiv (Cornell University)|Nov 21, 2019

Indoor and Outdoor Localization Technologies参考文献 20被引用数 8

ひとこと要約

本論文は、WiFiフィンガープrintを用いた高精度な屋内ユーザー位置予測のための新規ハイブリッドディープラーニングモデル、畳み込み混合密度再帰ニューラルネットワーク（CMDRNN）を提案する。1次元CNNによる特徴抽出、RNNによる時系列ダイナミクスのモデル化、および混合密度ネットワークによる確率的出力予測を統合することで、CMDRNNは、パス1で6.25±0.80、パス2で8.67±0.23の平均二乗誤差を達成し、ベースラインモデルを著しく上回る最先端の性能を発揮する。

ABSTRACT

Predicting smartphone users activity using WiFi fingerprints has been a popular approach for indoor positioning in recent years. However, such a high dimensional time-series prediction problem can be very tricky to solve. To address this issue, we propose a novel deep learning model, the convolutional mixture density recurrent neural network (CMDRNN), which combines the strengths of convolutional neural networks, recurrent neural networks and mixture density networks. In our model, the CNN sub-model is employed to detect the feature of the high dimensional input, the RNN sub-model is utilized to capture the time dependency and the MDN sub-model is for predicting the final output. For validation, we conduct the experiments on the real-world dataset and the obtained results illustrate the effectiveness of our method.

研究の動機と目的

• WiFiフィンガープリントに基づく屋内位置特定における高次元的かつ非線形的な時系列予測の課題に対処すること。
• 従来のディープラーニングモデルが平均二乗誤差損失関数を用いるが、複雑な信号フェージングや多路径効果を適切にモデル化できないという限界を克服すること。
• 特徴抽出、時系列モデリング、確率的出力予測を統合した包括的なディープラーニングアーキテクチャを構築し、位置特定精度の向上を図ること。
• 次元削減のための事前学習済みオートエンコーダーの必要性を排除し、直接CNNを用いて入力次元を処理すること。
• 実世界のデータを用いてモデルの有効性と実用的屋内位置特定シナリオにおける頑健性を検証すること。

提案手法

• 高次元のWiFi RSSIベクトルから空間的特徴を抽出するために、シグモイドおよびReLU活性化関数を用いた1次元畳み込みニューラルネットワーク（CNN）を採用する。
• ユーザーの軌跡における逐次的依存関係をモデル化するために、GRU、LSTM、または通常のRNNユニットを用いた再帰的ニューラルネットワーク（RNN）を用いる。
• 出力部に混合密度ネットワーク（MDN）を統合し、2次元座標上の条件付き確率密度関数を予測するようにし、単一の決定的値ではなく確率的出力を得る。
• MDNを30個のガウス混合成分で構成し、それぞれを2次元平均、分散、混合重みでパラメータ化することで、不確実性を考慮した予測が可能になる。
• 全モデルをエンドツーエンドで訓練するために、学習率1e-3でRMSProp最適化手法を用い、予測された混合密度の負の対数尤度を最小化する。
• 入力シーケンス長を5に設定し、各入力は489次元のRSSIベクトルであり、欠損しているアクセスポイントは100 dBmで補完する。

実験結果

リサーチクエスチョン

• RQ1 CNN、RNN、MDNを統合したハイブリッドディープラーニングモデルは、従来のモデルと比較して、WiFiフィンガープリントに基づく屋内ユーザー位置予測の精度を向上させることができるか？
• RQ2 MDNを用いて出力を確率密度関数としてモデル化することで、MSE損失関数を用いた直接回帰と比較して、一般化性能および不確実性推定が向上するか？
• RQ3 RNNの種別（GRU、LSTM、通常のRNN）の選択が、CMDRNNアーキテクチャの逐次的位置予測性能に与える影響は何か？
• RQ4 MDN部におけるガウス混合成分の最適な数は何か？モデルの複雑さと予測精度のバランスをとる上で重要である。
• RQ5 次元削減のためのオートエンコーダーによる事前処理を必要とせずに、CMDRNNモデルは優れた性能を達成できるか？

主な発見

• GRUベースのRNNを用いたCMDRNNモデルは、パス1で6.25±0.80、パス2で8.67±0.23の最小平均二乗誤差（RMSE）を達成し、すべてのベースラインを上回った。
• CMDRNN（GRU）モデルは、通常のRNNベースライン（パス1で29.36±1.61）と比較してRMSEを50%以上、RNN+MDN（パス1で23.86±5.50）と比較して30%以上低減した。
• MDNにおける混合成分の最適数は30であった。これより多くも少なくもなると、予測誤差が増加した。
• CMDRNNモデルは、CNN+RNNモデル（パス1で34.26±3.04のRMSE）を著しく上回り、MDNの統合が非線形性と不確実性の処理に不可欠であることを示した。
• GRUベースのCMDRNNは、複数回の実行における予測の分散が最小で、性能と学習安定性の最良のトレードオフを達成した。
• モデルが完全な確率分布を出力できる能力により、動的で変化しやすい屋内環境での実用的展開に不可欠な不確実性の定量化が可能になった。