[論文レビュー] Human Detection of Political Speech Deepfakes across Transcripts, Audio, and Video

Matthew Groh, Aruna Sankaranarayanan+4 more|arXiv (Cornell University)|Feb 25, 2022

Digital Media Forensic Detection被引用数 11

ひとこと要約

本研究は、米国からの2,215名の参加者を対象に、事前に登録済みの5つの実験を通じて、テキスト、音声、動画のモダリティを介したAI生成政治スピーチのディープフェイクを人間が検出できる能力を調査した。音声と視覚的側面が検出精度を顕著に向上させることを明らかにした。また、最先端のテキスト対音声変換音声を用いたディープフェイクは、声優が生成した音声を用いたものよりも検出が難しいことが判明し、動画モダリティが本物らしさを高めるという仮定に疑問を呈した。

ABSTRACT

Recent advances in technology for hyper-realistic visual and audio effects provoke the concern that deepfake videos of political speeches will soon be indistinguishable from authentic video recordings. The conventional wisdom in communication theory predicts people will fall for fake news more often when the same version of a story is presented as a video versus text. We conduct 5 pre-registered randomized experiments with 2,215 participants to evaluate how accurately humans distinguish real political speeches from fabrications across base rates of misinformation, audio sources, question framings, and media modalities. We find base rates of misinformation minimally influence discernment and deepfakes with audio produced by the state-of-the-art text-to-speech algorithms are harder to discern than the same deepfakes with voice actor audio. Moreover across all experiments, we find audio and visual information enables more accurate discernment than text alone: human discernment relies more on how something is said, the audio-visual cues, than what is said, the speech content.

研究の動機と目的

• 異なるメディアモダリティ（テキスト、音声、動画）を通じて、人間が政治的スピーチディープフェイクをどのように検出するかを検討すること。
• 誤情報のベースレートが人間の識別精度に与える影響を評価すること。
• テキスト単体と比較して、音声と視覚的モダリティが架空のコンテンツの本物らしさを高めることを評価すること。
• 最先端のテキスト対音声変換アルゴリズムが、人間の声優が生成した音声よりもより欺瞞的なディープフェイクを生み出すかどうかを調査すること。
• ディープフェイク検出における、発話内容（何が話されているか）と発話の仕方（どのように話されているか）の相対的な役割を理解すること。

提案手法

• 米国からの2,215名の参加者を対象に、事前に登録済みの5つの無作為化実験を実施した。
• 参加者は、実際または合成音声を併用したテキスト、音声、動画、またはその組み合わせの7つのモダリティ条件のいずれかで政治的スピーチを視聴した。
• ディープフェイクはPDDデータセットを用いて生成され、合成音声は声優と最先端のテキスト対音声変換モデルの両方を用いた。
• 実験では、ディープフェイクのベースレート（10%、50%、90%）を操作し、質問のフレーミングを変化させて検出精度を評価した。
• 注意チェックと除外基準を用いてデータ品質を確保した。非遵守による除外は、各実験で14〜21名であった。
• 統計解析では、混合効果ロジスティック回帰モデルを用いて、モダリティ、音声タイプ、実験条件ごとの検出精度を比較した。

実験結果

リサーチクエスチョン

• RQ1 メディアモダリティ（テキスト、音声、動画）が、政治的スピーチディープフェイクの検出能力に顕著な影響を及えるか？
• RQ2 誤情報のベースレートが、異なるモダリティにおける検出精度にどのように影響するか？
• RQ3 最先端のテキスト対音声変換モデルが生成した合成音声を搭載したディープフェイクは、人間の声優が生成した音声を搭載したものよりも検出が難しいか？
• RQ4 発話内容（何が話されているか）と比較して、音声と視覚的側面（どのように話されているか）が検出精度に与える寄与度はどの程度か？
• RQ5 ディープフェイクに不自然な口の動きや風刺的兆候などの知覚的歪みが存在する場合、検出パフォーマンスに緩和効果が現れるか？

主な発見

• 音声と視覚的側面が存在する際、参加者はディープフェイクの検出が顕著に正確であった。これは、「どのように話されているか」が「何が話されているか」よりもより有用な情報であることを示唆している。
• 誤情報のベースレートは検出精度にほとんど影響を及ぼさなかった。これは、人間が本物かどうかを判断する際に統計的事前確率に大きく依存していないことを示している。
• 最先端のテキスト対音声変換モデルが生成した音声を搭載したディープフェイクは、人間の声優が生成した音声を搭載したものよりも顕著に検出が困難であった。視覚的操作は同一であったにもかかわらずである。
• 参加者はテキスト単体の条件よりも動画条件でより高い検出精度を示した。これは、ディープフェイクの文脈におけるリアリズムヒューリスティックの有効性を支持する。
• 不自然な口の動きや音声の不整合性が、参加者がディープフェイクを特定する主な手がかりであった。これは、微細な知覚的歪みが検出に重要であることを示している。
• 参加者のうち1%しかディープフェイクを作成した経験がなく、87%は例を目にしたことがある。これは、広範な露出はあるが、個人的な関与は限定的であることを示している。