[論文レビュー] Do You Really Mean That? Content Driven Audio-Visual Deepfake Dataset and Multimodal Method for Temporal Forgery Localization

Zhixi Cai, Kalin Stefanov+2 more|arXiv (Cornell University)|Apr 13, 2022

Digital Media Forensic Detection被引用数 4

ひとこと要約

本稿では、感情極性を変更するコンテンツ駆動型の操作を含む大規模な音声視覚ディーフェイクデータセットLAV-DFを紹介し、対照的損失、境界マッチング損失、フレーム分類損失を用いた境界認識時系列偽造検出（BA-TFD）と呼ばれるマルチモーダル3次元畳み込みニューラルネットワーク手法を提案する。この手法は、提案されたデータセットで76.90 AP@0.5および66.90 AR@100の最先端性能を達成し、時系列偽造領域の局所化において優れた性能を示した。

ABSTRACT

Due to its high societal impact, deepfake detection is getting active attention in the computer vision community. Most deepfake detection methods rely on identity, facial attributes, and adversarial perturbation-based spatio-temporal modifications at the whole video or random locations while keeping the meaning of the content intact. However, a sophisticated deepfake may contain only a small segment of video/audio manipulation, through which the meaning of the content can be, for example, completely inverted from a sentiment perspective. We introduce a content-driven audio-visual deepfake dataset, termed Localized Audio Visual DeepFake (LAV-DF), explicitly designed for the task of learning temporal forgery localization. Specifically, the content-driven audio-visual manipulations are performed strategically to change the sentiment polarity of the whole video. Our baseline method for benchmarking the proposed dataset is a 3DCNN model, termed as Boundary Aware Temporal Forgery Detection (BA-TFD), which is guided via contrastive, boundary matching, and frame classification loss functions. Our extensive quantitative and qualitative analysis demonstrates the proposed method's strong performance for temporal forgery localization and deepfake detection tasks.

研究の動機と目的

• 既存のディーフェイク検出データセットは全動画の操作を仮定しているが、そのギャップを埋めるために、コンテンツ駆動型で感情を変更する操作に焦点を当てたデータセットの構築。
• 本物の動画の意味を逆転させる短い、戦略的な配置の偽造セグメントを正確に局所化できる手法の開発。
• 大規模で現実的で、操作されたコンテンツの境界がアノテーションされたデータセットを提供することで、時系列偽造局所化分野の研究を促進。
• 音声と映像信号のマルチモーダル統合が、単一モodalアプローチに比べて局所化精度を顕著に向上させることの実証。

提案手法

• LAV-DFデータセットは、アイデンティティと自然さを保持したまま、感情極性（例：「安全」を「危険」に変更）を変更するコンテンツ駆動型音声視覚リエンアクションを適用することで構築された。
• 提案されたBA-TFDモデルは、3次元畳み込みニューラルネットワーク（3D CNN）バックボーンを採用し、3つの損失部品を有する：特徴の整合性を保つための対照的損失、正確なセグメント境界予測のための境界マッチング損失、フレーム単位の偽造検出のためのフレーム分類損失。
• モデルは、フレームレベルとセグメントレベルの両方のラベルに従って、LAV-DFデータセット上でエンドツーエンドに訓練され、局所化精度の向上を図った。
• マルチモーダル統合は、3次元畳み込み層の前段で音声と映像特徴を早期に連結することで実現され、音声視覚の手がかりを統合的にモデル化可能となった。
• 評価には標準的な指標が用いられ、時系列局所化にはAP@0.5とAR@100、分類にはAUCが使用された。

Figure 1 : Content-driven audio-visual manipulation. On the left is a real video with the subject saying “Vaccinations are safe”. On the right is an audio-visual deepfake created from the real video based on the change in perceived sentiment where “safe” is changed to “dangerous”. Green-edge and red

実験結果

リサーチクエスチョン

• RQ1 感情を変更する短い操作が、動画の他の部分に影響を与えない状況において、ディーフェイク検出手法がその偽造領域を効果的に局所化できるか。
• RQ2 音声と映像のマルチモーダル統合は、単一モーダルアプローチに比べて、時系列偽造局所化にどの程度寄与するか。
• RQ3 対照的損失、境界マッチング損失、フレーム分類損失の各損失が、モデルの局所化性能にどの程度寄与しているか。
• RQ4 ランダムまたは全動画の操作を含むデータセットと比較して、コンテンツ駆動型データセットで訓練することで、一般化性能がどの程度向上するか。

主な発見

• 提案されたBA-TFD手法は、LAV-DF全データセットで76.90 AP@0.5および66.90 AR@100を達成し、時系列偽造局所化分野で最先端の性能を示した。
• 視覚のみの単一モーダルバージョンではAP@0.5が58.55にとどまるが、マルチモーダルバージョンでは76.90 AP@0.5にまで向上し、音声視覚統合の有効性が示された。
• データセットのサブセットでは、視覚のみのAP@0.5が58.55から83.55に向上した。これは、本稿で提示されたデータセットで訓練することで、モデルの一般化性能が向上することを示している。
• アブレーションスタディの結果、フレーム分類損失が性能向上に最も寄与しており、次に境界マッチング損失、対照的損失の順に寄与度が高かった。
• 本手法は分類損失を用いて訓練していないにもかかわらず、0.990のAUCを達成し、F3Net（0.520）とMDS（0.828）を上回った。

Figure 2 : Generation pipeline of the proposed dataset . The green-edge audio and video frames are the real data, and the red-edge audio and video frames are the generated fake data. The real audio-based transcript is used to decide the location and content to be replaced based on the largest change