[論文レビュー] Wisture: RNN-based Learning of Wireless Signals for Gesture Recognition in Unmodified Smartphones

Mohamed Abudulaziz Ali Haseeb, Ramviyas Parasuraman|arXiv (Cornell University)|Jul 26, 2017

Indoor and Outdoor Localization TechnologiesEngineering参考文献 20被引用数 19

ひとこと要約

Wistureは、標準的なWi-Fi RSSI測定値のみを用い、ハードウェアやOSの変更なしに、未加工のスマートフォン上で接触なしのジェスチャー認識を可能にするLSTMベースのRNNモデルを提案する。人工的に誘発されたデータ通信を活用することで信号の分解能を向上させる。ハードウェアやOSの変更なしに、3種類の動的ハンドジェスチャーを最大94％の正確性で分類可能であり、実世界のスマートフォンへの展開可能性を示している。

ABSTRACT

This paper introduces Wisture, a new online machine learning solution for recognizing touch-less dynamic hand gestures on a smartphone. Wisture relies on the standard Wi-Fi Received Signal Strength (RSS) using a Long Short-Term Memory (LSTM) Recurrent Neural Network (RNN), thresholding filters and traffic induction. Unlike other Wi-Fi based gesture recognition methods, the proposed method does not require a modification of the smartphone hardware or the operating system, and performs the gesture recognition without interfering with the normal operation of other smartphone applications. We discuss the characteristics of Wisture, and conduct extensive experiments to compare its performance against state-of-the-art machine learning solutions in terms of both accuracy and time efficiency. The experiments include a set of different scenarios in terms of both spatial setup and traffic between the smartphone and Wi-Fi access points (AP). The results show that Wisture achieves an online recognition accuracy of up to 94% (average 78%) in detecting and classifying three hand gestures.

研究の動機と目的

• ハードウェアやOSの変更なしに、標準的なスマートフォン上で接触なしのジェスチャー認識を実現する機械学習ソリューションの開発。
• 市販のデバイスからのWi-Fi受信信号強度（RSS）測定値のみを用いて、リアルタイムでのジェスチャー分類を可能にすること。
• rootアクセス、カスタムファームウェア、またはCSI対応Wi-Fiチップなどの専用ハードウェアを必要とする従来手法の制限を克服すること。
• 多様な空間配置とネットワークトラフィック状態において、手法の堅牢性と一般化性能を検証すること。
• 再現可能性と今後のベンチマークのための支援を目的として、公開データセットとソースコードを提供すること。

提案手法

• 長短期記憶（LSTM）再帰的ニューラルネットワーク（RNN）を用いて、Wi-Fi RSSI信号の時間的パターンをモデル化し、ジェスチャー分類を実現する。
• スマートフォンとWi-Fiアクセスポイント間の人工的なデータ通信を誘発することで、信号のサンプリング周波数を向上させ、分解能を向上させる。
• しきい値フィルタリングと信号処理技術を適用し、生のRSSIトレースから意味のある特徴を抽出する。
• 通常のWi-Fi運用に影響を与えることなく、スマートフォン上で直接実行可能なリアルタイム推論パイプラインを設計する。
• さまざまな空間的およびトラフィック状態で収集したラベル付きRSSIシーケンスを用いてLSTMモデルを学習させ、シナリオ間での一般化を図る。
• 分類のためのジェスチャー固有の時間窓に連続するRSSIストリームを分割するウィンドウベースのアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 CSIやハードウェアの変更なしに、標準的なRSSI信号のみで、スマートフォン上で正確かつリアルタイムの接触なしジェスチャー認識が可能か？
• RQ2 標準RSSIを用いた場合、人工的なデータ通信の誘発が、時間的分解能およびジェスチャー認識の性能にどのように寄与するか？
• RQ3 LSTMベースのモデルは、多様な空間レイアウトおよび変動するネットワークトラフィック状態において、どの程度の性能を示すか？
• RQ4 再トレーニングなしに、新しいジェスチャーまたは異なるスマートフォンモデルに対しても、システムはどの程度一般化できるか？
• RQ5 アイドル期間中の誤検出とバッテリー消費を低減するために、低消費電力のプレアンブルジェスチャーモードを設計できるか？

主な発見

• Wistureは、複数のシナリオにおいて平均78％のオンライン認識正確性を達成し、特定のデータセットでは最大94％の正確性を示した。
• 訓練データとは異なる構成でも高い性能を維持しており、強力な一般化性能を示している。
• PushおよびPullジェスチャーは、人工的なトラフィックを誘発しない状態でも97％の正確性で認識可能であり、低消費電力のプレアンブルジェスチャーとしての適性が示された。
• 訓練データセットのサイズを元の10％（1ジェスチャーあたり100件以上）に縮小しても、正確性は94％から83％にわずかに低下するにとどまり、データ効率の良い学習の可能性を示した。
• 本手法は、rootアクセス、ファームウェア変更、または他のWi-Fiアプリケーションの無効化なしに、未加工のスマートフォン上で完全に動作する。
• 1000件以上のラベル付きジェスチャーを含む公開データセットとソースコードの提供により、Wi-Fiベースのジェスチャー認識研究分野における再現可能性と今後のベンチマークが可能になった。