[論文レビュー] Warning: Humans Cannot Reliably Detect Speech Deepfakes

Kimberly T. Mai, Sergi D. Bray+2 more|arXiv (Cornell University)|Jan 19, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本研究は、英語および中国語話者を対象に、529名の参加者を対象とした制御されたオンライン実験を通じて、人間が音声ディープフェイクを検出できる能力を評価した。意識的かつ暴露された例が与えられたにもかかわらず、聴取者は73%の正確さでディープフェイクを検出できたにとどまり、言語による差は認められず、熟達度はわずかに性能向上に寄与した。これは、人間依存ではなく、自動検出システムの緊急の必要性を示している。

ABSTRACT

Speech deepfakes are artificial voices generated by machine learning models. Previous literature has highlighted deepfakes as one of the biggest security threats arising from progress in artificial intelligence due to their potential for misuse. However, studies investigating human detection capabilities are limited. We presented genuine and deepfake audio to n = 529 individuals and asked them to identify the deepfakes. We ran our experiments in English and Mandarin to understand if language affects detection performance and decision-making rationale. We found that detection capability is unreliable. Listeners only correctly spotted the deepfakes 73% of the time, and there was no difference in detectability between the two languages. Increasing listener awareness by providing examples of speech deepfakes only improves results slightly. As speech synthesis algorithms improve and become more realistic, we can expect the detection task to become harder. The difficulty of detecting speech deepfakes confirms their potential for misuse and signals that defenses against this threat are needed.

研究の動機と目的

• 英語および中国語における音声ディープフェイクの人間による検出正確性を評価し、言語依存の検出性能を検証すること。
• ディープフェイクの例に事前に触れることで、聴取者の検出能力が向上するかどうかを調査すること。
• 文脈的手がかりや音声ペアリング（二項対比較 vs. 単一）が検出性能に与える影響を検討すること。
• 不自然さといった知覚的手がかりが、人間によるディープフェイク検出に果たす役割を理解すること。
• 合成音声の検出における人間の知覚の限界を明らかにすることで、強固な防御策の開発を支援すること。

提案手法

• 英語および中国語話者グループに分かれて529名の参加者を対象にオンライン実験を実施した。
• 音声クリップを2種類の構成で提示した：ユニタリー（1回の試行につき1つのクリップ）とバイナリー（1つの本物、1つのフェイクのペア）。
• 刺激を生成するために、古い、より劣った技術に基づいたディープフェイク音声合成モデルを用いた。
• ランダムに割り当てられた熟達化干渉（例：ディープフェイクの例の提示）を実施し、検出性能への影響を評価した。
• 意思決定の信頼性を分析するために、自信調整付き正確さスコアを収集した。
• 統計的モデリングを用いて、言語、構成、熟達度の条件ごとの検出性能を分析した。

Fig 1: Diagram of a typical generative speech synthesis model.

実験結果

リサーチクエスチョン

• RQ1 人間は英語および中国語において、本物の発話と音声ディープフェイクを信頼性を持って区別できるか？
• RQ2 事前にディープフェイクの例に触れることで、人間の検出正確さは向上するか？
• RQ3 ユニタリーとバイナリーの音声提示形式の間で、検出性能に顕著な差があるか？
• RQ4 聴取者はディープフェイク検出の際に、言語固有の音響的手がかりに依存しているか？
• RQ5 発話の不自然さの認識が、人間の検出意思決定にどのように影響するか？

主な発見

• 人間は音声ディープフェイクをわずか73%の正確さで検出できた。これは、制御された条件下でも検出能力が信頼できないことを示している。
• 英語話者と中国語話者の間で検出性能の差は顕著ではなく、言語が検出可能性に影響しないことを示唆している。
• 参加者にディープフェイクの例を事前に提示しても、検出正確さの向上はわずかにとどまり、啓発キャンペーンの有効性は限定的である。
• 聴取者は言語に関係なく、主に不自然さの認識を手がかりとして用いており、共通の知覚的ヒューリスティックが存在することが示された。
• 聴取時間の延長や二項対比較の有無に関わらず性能向上が見られず、認知的負荷やタスク設計が検出に顕著に寄与しないことが示された。
• 結果から、人間による検出は実世界の防御には不十分であり、自動検出システムの導入が不可欠であると示唆された。

Fig 2: Screenshots of the task interface.