[論文レビュー] Unacceptable, where is my privacy? Exploring Accidental Triggers of Smart Speakers

Lea Schönherr, Maximilian Golla+4 more|arXiv (Cornell University)|Aug 2, 2020

User Authentication and Security Systems参考文献 37被引用数 16

ひとこと要約

本論文は、音声認識の分野において、8社のメーカーが製造する11台のスマートスピーカーを対象に、音声合成（TTS）で生成された音声と、発音に基づいた重み付け付きレーベンシュタイン距離を用いて、誤ってウェイクワードと認識される「誤検出トリガー」（誤検出音声）を自動で系統立てて同定する手法を提案する。本研究では1,000件を超える検証済みの誤検出トリガーを同定し、誤ったウェイクワード起動による顕著なプライバシーリスクを明らかにした。また、不測のデータ収集を軽減するため、透明性の向上、セーフワードの導入、プライバシー制御の強化を提言している。

ABSTRACT

Voice assistants like Amazon's Alexa, Google's Assistant, or Apple's Siri, have become the primary (voice) interface in smart speakers that can be found in millions of households. For privacy reasons, these speakers analyze every sound in their environment for their respective wake word like ''Alexa'' or ''Hey Siri,'' before uploading the audio stream to the cloud for further processing. Previous work reported on the inaccurate wake word detection, which can be tricked using similar words or sounds like ''cocaine noodles'' instead of ''OK Google.'' In this paper, we perform a comprehensive analysis of such accidental triggers, i.,e., sounds that should not have triggered the voice assistant, but did. More specifically, we automate the process of finding accidental triggers and measure their prevalence across 11 smart speakers from 8 different manufacturers using everyday media such as TV shows, news, and other kinds of audio datasets. To systematically detect accidental triggers, we describe a method to artificially craft such triggers using a pronouncing dictionary and a weighted, phone-based Levenshtein distance. In total, we have found hundreds of accidental triggers. Moreover, we explore potential gender and language biases and analyze the reproducibility. Finally, we discuss the resulting privacy implications of accidental triggers and explore countermeasures to reduce and limit their impact on users' privacy. To foster additional research on these sounds that mislead machine learning models, we publish a dataset of more than 1000 verified triggers as a research artifact.

研究の動機と目的

• 複数のスマートスピーカーにわたる、誤ってウェイクワードと誤認識される音声（誤検出トリガー）を体系的かつ定量的に分析すること。
• クラウドベースの検証や音声特徴マーカー（音声フィンガープrint）といった既存の保護機構が、誤検出トリガーの影響をどの程度軽減できるかを評価すること。
• 発音距離メトリクスを用いて、自動的にトリガー候補を生成・検出する手法を開発・検証すること。
• 意図しないウェイクワード起動に伴うプライバシー上の影響を検討し、実効性のある是正策を提言すること。

提案手法

• 著者らは発音辞書を用い、発音音素に依存する重みを付与した新しい音素ベースのレーベンシュタイン距離を提案し、誤検出トリガー候補を生成する。
• これらの候補音声をテキスト・トゥ・スピーク（TTS）サービスを用いて音声合成し、実際のスマートスピーカーでの検出を検証する。
• テレビ番組、ニュース、プロフェッショナル音声データセットを含む多様な音声ソースを想定した、リビングルームを模した制御された実験環境を構築する。
• ローカルおよびクラウドベースのウェイクワード検出システムを評価し、トリガーが各段階の検証を回避できるかどうかを検証する。
• 一貫した条件下で11台のスマートスピーカー（8社製）をベンチマークし、再現可能性と公平性を確保する。
• 今後のボイスアシスタントにおける敵対的入力の研究を支援するため、1,000件を超える検証済み誤検出トリガーのデータセットを公開する。

実験結果

リサーチクエスチョン

• RQ1 異なるスマートスピーカーにおける誤検出トリガーの発生頻度はどの程度で、その検出率に影響を与える要因は何か？
• RQ2 クラウドベースの検証および音声フィンガープrint技術は、誤検出トリガーの影響をどの程度軽減できるか？
• RQ3 発音に基づいた重み付け付きレーベンシュタイン距離は、ウェイクワードと誤認識されやすい音声を効果的に同定できるか？
• RQ4 言語、性別、音声コンテンツの種別が、誤検出トリガーの発生確率にどのように影響するか？
• RQ5 意図しないウェイクワード起動に伴うプライバシーリスクを低減する実用的対策は何か？

主な発見

• 著者らは、発音に裏付けられた自動手法を用いて、8社のメーカーが製造する11台のスマートスピーカーで1,000件を超える検証済み誤検出トリガーを同定した。
• 音素ベースで重み付けされたレーベンシュタイン距離は、標準的なレーベンシュタイン距離と比較して、妥当な誤検出トリガーを同定する能力で顕著に優れていた。
• テストされたすべてのスマートスピーカーに誤検出トリガーが確認されたことから、これは主要ベンダーに広がる包括的かつ根本的な問題であることが示された。
• クラウドベースの検証および音声フィンガープリント技術は誤検出を軽減したが、完全に排除したわけではない。これにより、ローカル検出が依然として脆弱なポイントであることが明らかになった。
• 特定の発音構造、特に一般的なウェイクワードと初期または末尾の音素が類似する音声が、誤検出トリガーとして発生しやすかった。
• 本研究では、ミュートボタンのような現在のプライバシー制御が不十分であることを示し、セーフワードの導入や記録管理に関する透明性の向上といったより安全な代替策を提言した。