[論文レビュー] Deep-Spying: Spying using Smartwatch and Deep Learning

Tony Beltramelli, Sebastian Risi|arXiv (Cornell University)|Dec 17, 2015

User Authentication and Security Systems参考文献 4被引用数 18

ひとこと要約

本論文は、スマートウォッチが収集したモーションセンサデータからキーストロークを推定する深層学習ベースの側帯攻撃を提案しており、LSTM（再帰ニューラルネットワーク）が物理キーボードでのキーロギングで95.8%、仮想キーボードでのタッチロギングで92.1%の精度を達成したことを示しており、従来の浅いモデルを著しく上回っている。

ABSTRACT

Wearable technologies are today on the rise, becoming more common and broadly available to mainstream users. In fact, wristband and armband devices such as smartwatches and fitness trackers already took an important place in the consumer electronics market and are becoming ubiquitous. By their very nature of being wearable, these devices, however, provide a new pervasive attack surface threatening users privacy, among others. In the meantime, advances in machine learning are providing unprecedented possibilities to process complex data efficiently. Allowing patterns to emerge from high dimensional unavoidably noisy data. The goal of this work is to raise awareness about the potential risks related to motion sensors built-in wearable devices and to demonstrate abuse opportunities leveraged by advanced neural network architectures. The LSTM-based implementation presented in this research can perform touchlogging and keylogging on 12-keys keypads with above-average accuracy even when confronted with raw unprocessed data. Thus demonstrating that deep neural networks are capable of making keystroke inference attacks based on motion sensors easier to achieve by removing the need for non-trivial pre-processing pipelines and carefully engineered feature extraction strategies. Our results suggest that the complete technological ecosystem of a user can be compromised when a wearable wristband device is worn.

研究の動機と目的

• ウェアラブルウエッティングデバイス（WAD）を用いた受動的キーストローク推定攻撃の実用的妥当性を評価すること。
• 深層ニューラルネットワークが、手動による特徴量抽出に依存する従来の浅いモデルよりも、モーションベースのキーストローク推定において優れた性能を示すかどうかを調査すること。
• スマートウォッチが、さまざまな入力デバイスにわたり、継続的かつ広範なユーザー入力の盗聴を可能にすることを実証すること。
• 手動による特徴量抽出を一切行わず、ノイズの多い原始的なモーションセンサデータからキーストロークを分類する深層学習モデルの頑健性を評価すること。
• スマートウォッチのモーションセンサデータを収集・処理・分類し、ユーザー入力を推定するプロトタイプシステムを構築すること。

提案手法

• ユーザーが物理キーボードおよび仮想キーボードで打ち込みを行う際の、スマートウォッチからの原始的なモーションセンサデータ（加速度計とジャイロスコープ）を収集した。
• ノイズ低減と信号品質の向上を目的として、キャリブレーション、中央値フィルタリング、カルマンフィルタリングを用いてセンサデータを前処理した。
• 時間窓から抽出した統計的特徴量（平均、分散など）を入力として、シグモイド関数およびtanh活性化関数を用いたフィードフォワードニューラルネットワーク（FNN）を訓練した。
• 時間的依存性をモデル化するために、忘れ門とピーチョール接続を備えた長短期記憶ネットワーク（LSTM）を実装した。
• トレーニング段階では平均二乗誤差（MSE）最適化を用い、モデルの評価には混同行列と分類精度を用いた。
• タッチロギング、キーロギング、およびクロスタスク推定（タッチロギングからキーロギングへの推定）の3つの実験的シナリオにおいて、複数のアーキテクチャをベンチマークした。

実験結果

リサーチクエスチョン

• RQ1 スマートウォッチのモーションセンサデータを用いて、物理キーボードおよび仮想キーボードでのキーストロークを高精度に推定できるか？
• RQ2 手動による特徴量抽出に依存する従来の浅いモデルと比較して、モーションベースのキーストローク推定において深層学習アプローチが優れているか？
• RQ3 LSTMベースの再帰ニューラルネットワークは、センサデータの時間的パターンをキーストローク分類に適切に捉えられるか？
• RQ4 タッチロギングデータで訓練したモデルは、再トレーニングなしで物理キーボードのキーストロークを正しく推定できるか？
• RQ5 異なる前処理技術およびネットワークアーキテクチャの違いが、キーストローク推定の分類性能に与える影響は何か？

主な発見

• LSTMベースのモデルは、物理キーボードでのキーロギングにおいて95.8%のピーク精度を達成し、フィードフォワードネットワークを著しく上回った。
• 仮想キーボードでのタッチロギングにおいても、LSTMモデルは92.1%の精度に達し、タッチ入力に対する優れた一般化性能を示した。
• すべての実験条件下で、RNN-LSTMモデルはFNN-SigmoidおよびFNN-Tanhの両方を上回り、特にノイズが多く変動の大きい入力パターンの処理において優れた性能を示した。
• 原始的なセンサシーケンスを入力としてエンドツーエンド学習を実施したことで、手動による特徴量抽出への依存が低減され、攻撃パイプラインの簡素化が達成された。
• タッチロギングデータで訓練したモデルは、キーロギングに良好に一般化され、クロスタスク推定で87.4%の精度を達成した。これは、入力タイプ間で共通する運動パターンが存在することを示している。
• カルマンフィルタリングや中央値フィルタリングなどの前処理技術は、信号品質の向上に寄与し、分類精度の向上に寄与した。