[論文レビュー] FakeAVCeleb: A Novel Audio-Video Multimodal Deepfake Dataset

Hasam Khalid, Shahroz Tariq+2 more|arXiv (Cornell University)|Aug 11, 2021

Digital Media Forensic Detection参考文献 60被引用数 23

ひとこと要約

本論文では、最先端の顔交換および音声クラーニング手法を用いて生成された、対応するリップシンク付きのフェイク音声を併せ持つリアルな深フェイク動画を含む、新しい音声・映像マルチモーダル深フェイクデータセットFakeAVCelebを紹介する。本データセットは、4つの民族的背景にまたがる多様な年齢層の有名人を含めることで、人種的・性別のバイアスを軽減し、マルチモーダル深フェイク検出器の強固な訓練と評価を可能にする。

ABSTRACT

While the significant advancements have made in the generation of deepfakes using deep learning technologies, its misuse is a well-known issue now. Deepfakes can cause severe security and privacy issues as they can be used to impersonate a person's identity in a video by replacing his/her face with another person's face. Recently, a new problem of generating synthesized human voice of a person is emerging, where AI-based deep learning models can synthesize any person's voice requiring just a few seconds of audio. With the emerging threat of impersonation attacks using deepfake audios and videos, a new generation of deepfake detectors is needed to focus on both video and audio collectively. To develop a competent deepfake detector, a large amount of high-quality data is typically required to capture real-world (or practical) scenarios. Existing deepfake datasets either contain deepfake videos or audios, which are racially biased as well. As a result, it is critical to develop a high-quality video and audio deepfake dataset that can be used to detect both audio and video deepfakes simultaneously. To fill this gap, we propose a novel Audio-Video Deepfake dataset, FakeAVCeleb, which contains not only deepfake videos but also respective synthesized lip-synced fake audios. We generate this dataset using the most popular deepfake generation methods. We selected real YouTube videos of celebrities with four ethnic backgrounds to develop a more realistic multimodal dataset that addresses racial bias, and further help develop multimodal deepfake detectors. We performed several experiments using state-of-the-art detection methods to evaluate our deepfake dataset and demonstrate the challenges and usefulness of our multimodal Audio-Video deepfake dataset.

研究の動機と目的

• フェイク動画と対応するフェイク音声を同時に含む高品質なマルチモーダル深フェイクデータセットの不足に対処する。
• 4つの主要な民族グループにまたがる有名人とバランスの取れた性別表現を含めることで、既存の深フェイクデータセットにおける人種的・性別のバイアスを軽減する。
• 音声と映像の両方の改ざんを検出可能な、リアルで大規模なデータセットを提供し、マルチモーダル深フェイク検出システムの開発を支援する。
• 標準化されたベンチマークデータセットを用いて、ユニモーダル、アンサンブルベース、マルチモーダルな深フェイク検出手法の包括的評価を可能にする。
• 研究コミュニティが公開され、文書化が整ったデータセットを活用できるようにするとともに、不正利用を防ぐためにアクセス制御を実装する。

提案手法

• 4つの民族的背景（白人、東アジア系、南アジア系、アフリカ系）にまたがる100人の有名人の実際のYouTube動画を収集し、性別と年齢層にバランスを取った構成とした。
• 最先端の深フェイク生成手法を適用：映像改ざんにはStyleGANベースの顔交換、音声クラーニングにはニューラルテキスト・トゥ・スピーチモデル（例：Tacotron2、FastSpeech2）を用いた。
• 顔のランドマーク追跡と音声・映像同期技術を用いて、合成音声と映像フレームを一致させ、リップシンクの正確性を確保した。
• 顔の類似度を高めるためにFace++の顔認識サービスを用い、顔交換の際の類似度が高い顔ペアを特定・マッチングした。
• 各動画に対して、時間的整合性と視覚的・音声的一致性を保ったまま、深フェイク動画と対応するフェイク音声を両方生成した。
• 不正利用を防ぐために、制御されたアクセスシステム（データセット申請フォーム）を通じてデータセットを公開し、正当な研究へのアクセスを可能にした。

実験結果

リサーチクエスチョン

• RQ1 フェイク動画と対応するリップシンク付きフェイク音声を併せ持つマルチモーダル深フェイクデータセットは、ユニモーダルデータセットと比較して、深フェイク検出器の性能向上に寄与するか？
• RQ2 トレーニングデータにおける人種、性別、年齢の多様性が、深フェイク検出モデルの一般化性能と公平性にどの程度影響を与えるか？
• RQ3 最新のユニモーダル、アンサンブルベース、マルチモーダルな深フェイク検出手法が、新しいリアルでバランスの取れた音声・映像深フェイクデータセット上でどのように性能を発揮するか？
• RQ4 時間的に同期され、視覚的に説得力のある音声・映像深フェイクを検出する際の主な課題は何か？
• RQ5 本研究で提示されたデータセットは、将来的なマルチモーダル深フェイク検出および一般化に関する研究の信頼できるベンチマークとして機能できるか？

主な発見

• FakeAVCelebは、4つの民族的背景にバランスよく分布し、50%が男性、50%が女性で、多様な年齢層をカバーする100人の有名人を含んでおり、人種的バイアスが低減されている。
• 本データセットには、最も一般的な深フェイク生成技術を用いて生成された、深フェイク動画と対応する合成リップシンク音声が含まれている。
• 実験の結果、マルチモーダル検出手法がユニモーダルベースラインを上回る性能を示し、音声・映像の統合的分析の価値が裏付けられた。
• 本データセットは11種類の最先端の検出手法（ユニモーダル、アンサンブル、マルチモーダル）を用いて評価され、ベンチマークとしての有効性が確認された。
• DFDCなどの既存のデータセットと比較して、FakeAVCelebは明示的な音声・映像ラベルを備えており、モダリティ固有の検出性能評価が正確に可能である。
• 本データセットは制御されたアクセスシステム（https://bit.ly/38prlVO）を通じて公開されており、不正利用を防ぐために審査を経てアクセスが許可される。