[論文レビュー] Spearphone: A Speech Privacy Exploit via Accelerometer-Sensed Reverberations from Smartphone Loudspeakers.

S Abhishek Anand, Chen Wang+3 more|arXiv (Cornell University)|Jul 12, 2019

Advanced Malware Detection Techniques参考文献 13被引用数 14

ひとこと要約

Spearphone は、スマートフォンの加速度計の計測値を活用して、内蔵 loudspeaker の反響から音声情報を抽出し、市販の機械学習技術を用いて 90% 以上の性別分類精度と 80% 以上の話者識別精度を達成した。これは、スピーカーモードでの音声再生における深刻なプライバシー上の脆弱性を露呈している。

ABSTRACT

In this paper, we build a speech privacy attack that exploits speech reverberations generated from a smartphone's in-built loudspeaker captured via a zero-permission motion sensor (accelerometer). We design our attack Spearphone2, and demonstrate that speech reverberations from inbuilt loudspeakers, at an appropriate loudness, can impact the accelerometer, leaking sensitive information about the speech. In particular, we show that by exploiting the affected accelerometer readings and carefully selecting feature sets along with off-the-shelf machine learning techniques, Spearphone can successfully perform gender classification (accuracy over 90%) and speaker identification (accuracy over 80%) for any audio/video playback on the smartphone. Our results with testing the attack on a voice call and voice assistant response were also encouraging, showcasing the impact of the proposed attack. In addition, we perform speech recognition and speech reconstruction to extract more information about the eavesdropped speech to an extent. Our work brings to light a fundamental design vulnerability in many currently-deployed smartphones, which may put people's speech privacy at risk while using the smartphone in the loudspeaker mode during phone calls, media playback or voice assistant interactions.

研究の動機と目的

• スマートフォンのスピーカーを通じて再生された音声信号が、加速度計の計測値から再構築可能かどうかを調査すること。
• スマートフォンのモーションセンサに存在する、これまで未発見のサイドチャネル脆弱性（音声情報の漏洩）を同定すること。
• ゼロ権限の加速度計データと標準的な機械学習技術のみを用いて、実用的な音声プライバシー攻撃を実証すること。
• 実世界のシナリオ（音声通話や音声アシスタントの相互作用など）における性別分類、話者識別、音声再構築の実現可能性を評価すること。

提案手法

• スマートフォンの内蔵スピーカーを通じて音声を再生する際の加速度計データを収集し、音声の反響によって引き起こされる機械的振動を検出すること。
• 時間領域および周波数領域の特徴量を加速度計信号から抽出し、音声関連のパターンを表現すること。
• SVM やニューラルネットワークを含む市販の機械学習モデルを適用し、抽出した特徴量から性別を分類し、話者を特定すること。
• 音声認識および信号再構築の実験を実施し、加速度計トレースから発音内容や部分的な音声波形を回復させること。
• 音声通話や音声アシスタントの応答を模擬するなど、一般的なスマートフォン利用シナリオを想定して、実機での攻撃検証を実施すること。
• 分類精度を最大化し、ノイズ干渉を最小限に抑えるために、経験的分析を通じて最適な特徴量セットを選定すること。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンのスピーカーを通じて再生された音声信号が、デバイスの加速度計センサに検出可能な振動を引き起こすか？
• RQ2 スピーカー反響音声の加速度計計測値から、性別および話者本人の特定がどの程度可能か？
• RQ3 加速度計トレースから、意味のある情報漏洩を引き起こすのに十分な忠実度で音声コンテンツを再構築可能か？
• RQ4 音声通話や音声アシスタントの相互作用といった現実的なシナリオにおいて、攻撃の有効性はどの程度か？

主な発見

• Spearphone は、スマートフォンのスピーカー反響に起因する加速度計データを用いて、性別分類精度が 90% を超えた。
• 複数のテストケースにおいて、話者識別精度が 80% を超えた。
• 音声再構築は実現可能であり、加速度計トレースから部分的な話された内容の回復が可能であった。
• スマートフォンを手に持って使用している場合や、表面に置いた状態でも攻撃が有効であったため、実世界での適用可能性が確認された。
• 特別な権限が不要であったため、標準的なセキュリティメカニズムでは検出が困難で、巧妙な攻撃であった。
• 複数のスマートフォンモデルで脆弱性が確認され、現在のデバイスアーキテクチャに広範な設計上の欠陥があることが示された。