[論文レビュー] Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using Affective Cues

Trisha Mittal, Uttaran Bhattacharya+3 more|arXiv (Cornell University)|Mar 14, 2020

Digital Media Forensic Detection参考文献 53被引用数 13

ひとこと要約

本稿では、顔と音声からのモダリティ類似性および認識される感情の手がかりを活用して、偽物の動画と本物の動画を区別する新しい音声・映像連携型ディープフェイク検出手法を提案する。シアンズ型ネットワークとトリプレット損失を用いることで、DFDCで84.4%、DF-TIMITで96.6%のAUCを達成し、ディープフェイクにおける音声・映像の一貫性と感情の不一致を同時にモデル化することで、先行手法を上回る性能を発揮する。

ABSTRACT

We present a learning-based method for detecting real and fake deepfake multimedia content. To maximize information for learning, we extract and analyze the similarity between the two audio and visual modalities from within the same video. Additionally, we extract and compare affective cues corresponding to perceived emotion from the two modalities within a video to infer whether the input video is "real" or "fake". We propose a deep learning network, inspired by the Siamese network architecture and the triplet loss. To validate our model, we report the AUC metric on two large-scale deepfake detection datasets, DeepFake-TIMIT Dataset and DFDC. We compare our approach with several SOTA deepfake detection methods and report per-video AUC of 84.4% on the DFDC and 96.6% on the DF-TIMIT datasets, respectively. To the best of our knowledge, ours is the first approach that simultaneously exploits audio and video modalities and also perceived emotions from the two modalities for deepfake detection.

研究の動機と目的

• マルチメディアコンテンツの偽造を検出することで、増大するディープフェイク動画の脅威に対処すること。
• 音声と映像モダリティの相関関係およびそれらの認識される感情の手がかりを、ディープフェイク検出の判別的信号として活用すること。
• 顔と音声に基づく感情的側面を同時に分析できる学習ベースの手法を開発し、検出のロバスト性を向上させること。
• 大規模な音声・映像連携型ディープフェイクデータセット上でアプローチを検証し、感情の一貫性が本物と偽物の区別に果たす役割を強調すること。

提案手法

• 本手法は、同じ動画の顔と音声モダリティのための統合埋め込みを学習するため、シアンズ型ニューラルネットワークアーキテクチャを用いる。
• トリプレット損失を用いて、同じ動画の本物版と偽物版の深層埋め込みを比較することで、モダリティ類似性を計算する。
• 顔の表情や声のトーンといった、認識される感情特徴を両モダリティから抽出し、感情的側面の類似性を算出する。
• 本物の動画の埋め込み間の距離を最小化し、偽物の動画の埋め込み間の距離を最大化するようにモデルを訓練するが、モダリティ類似性と感情類似性の両方を教師信号として用いる。
• アブレーションスタディにより、モダリティ類似性および感情類似性の両成分が全体の性能向上に寄与することが確認された。
• フレームワークは、音声と映像の両方を含むDFDCおよびDF-TIMITデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 音声と映像モダリティ間での認識される感情の一貫性が、ディープフェイク検出を向上させ得るか？
• RQ2 音声と映像モダリティ間の類似性をモデル化することで、合成動画の検出が向上するか？
• RQ3 モダリティ間の感情的側面の不一致が、ディープフェイクコンテンツとどのように相関するか？
• RQ4 モダリティレベルおよび感情レベルの類似性が、検出性能に独立してどの程度寄与するか？
• RQ5 本手法は、トレーニング時に見なかったリアルなSNS上のディープフェイク動画にも一般化可能か？

主な発見

• 提案手法は、DFDCデータセットで84.4%、DF-TIMITデータセットで96.6%の動画単位AUCを達成し、最先端の手法を上回る性能を示した。
• 偽物の動画の73.2%が、音声と映像モダリティ間で認識される感情ラベルに不一致を示したが、本物の動画では24%にとどまった。
• アブレーションスタディにより、モダリティ類似性と感情類似性の両方が検出性能に顕著に寄与しており、特に感情類似性が強力な判別的信号を提供することが確認された。
• 本手法は、リアルなSNS動画におけるディープフェイクの検出に成功したが、偽物で感情表現が一貫している場合に誤検出が生じる場合がある。
• 失敗事例は、偽物が感情の一貫性を保っている場合、または本物の動画に自然な感情の変動が見られる場合に発生し、誤検出につながる。
• 本手法は、ディープフェイク検出において、音声・映像モダリティ類似性と認識される感情の一貫性を同時に活用する初の手法である。