[論文レビュー] Hearing your touch: A new acoustic side channel on smartphones

Ilia Shumailov, Laurent Simon+2 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Malware Detection Techniques参考文献 42被引用数 32

ひとこと要約

この論文はスマートフォンのマイクを用いた純粋に音響的なサイドチャネル攻撃を実証し、 touchscreen キーボード上のユーザのタップを推測して、実世界の設定でPINおよびテキスト入力の漏洩を可能にする。

ABSTRACT

We present the first acoustic side-channel attack that recovers what users type on the virtual keyboard of their touch-screen smartphone or tablet. When a user taps the screen with a finger, the tap generates a sound wave that propagates on the screen surface and in the air. We found the device's microphone(s) can recover this wave and "hear" the finger's touch, and the wave's distortions are characteristic of the tap's location on the screen. Hence, by recording audio through the built-in microphone(s), a malicious app can infer text as the user enters it on their device. We evaluate the effectiveness of the attack with 45 participants in a real-world environment on an Android tablet and an Android smartphone. For the tablet, we recover 61% of 200 4-digit PIN-codes within 20 attempts, even if the model is not trained with the victim's data. For the smartphone, we recover 9 words of size 7--13 letters with 50 attempts in a common side-channel attack benchmark. Our results suggest that it not always sufficient to rely on isolation mechanisms such as TrustZone to protect user input. We propose and discuss hardware, operating-system and application-level mechanisms to block this attack more effectively. Mobile devices may need a richer capability model, a more user-friendly notification system for sensor usage and a more thorough evaluation of the information leaked by the underlying hardware.

研究の動機と目的

• スマートフォンおよびタブレットのタッチスクリーン仮想キーボードに対する純粋に音響的でパッシブなサイドチャネル攻撃を実証する。
• 現実世界の条件下でPINと入力語の回復が可能かを評価する。
• 正確なタップ位置推定と分類を可能にするマイク構成と特徴を分析する。
• 漏えいをブロックまたは低減するためのハードウェア、OS、アプリケーション層を横断する緩和策を提案する。

提案手法

• ユーザーがタッチスクリーンをタップする際、内蔵マイクからの音声を記録する。
• 到達時間差を含む頑健なタップ特徴量およびクエフレンシー（quefrency）ベースの特徴量を抽出する。
• バンドパスフィルタリングと相互相関を適用してタップの位置とタイミングを推定する。
• 特異値分解ベースの Linear Discriminant Analysis (LDA) を分類に用いる。
• 45名の参加者データセットでオフライン学習を行い、train/test および leave-one-subject-out (LOSO) スキームで評価する。
• PINおよびアルファベット入力に対して、単一マイクとデュアルマイクのセットアップを比較する。

実験結果

リサーチクエスチョン

• RQ1 デバイスのマイクで捉えられた純粋に音響的な信号は、タッチスクリーンの仮想キーボード上の指のタップ位置を明らかにできるか？
• RQ2 音響特徴量と複数マイク構成を用いたPINおよび入力語の分類精度はどの程度か？
• RQ3 縦向き/横向きの画面方向とデバイス種別（スマートフォン vs. タブレット）は、攻撃の有効性にどう影響するか？
• RQ4 ハードウェア、OS、アプリケーションレベルでどのような対策がこの漏洩を緩和できるか？

主な発見

• 2マイク構成は高いPIN回復率を実現し、Nexus 5の最良ケースで20回の試行以内に四桁PINの91/150を回復。
• 単一マイクの結果はランダム推測より有意に改善され、F1スコアはマイクの配置と学習スキームに依存して最大で34–55。
• 文字・語句推定ではデュアルマイクが最良の結果を示し、タブレットの性能は一部の設定で物理キーボード攻撃に近い。
• Nexus 5のデュアルマイク設定では20回目の試行までにPIN推定成功率が最大61%、単一マイクの結果は低いが検出可能。
• 実世界の語句推定では、言語モデルなしで4字語は約6%で総当たり可能、3-gramモデルを用いると約10%に改善。
• 他の被害者のデータでオフライン訓練し、被害者特有のデータがなくても攻撃は有効である。