[論文レビュー] Towards Understanding of Deepfake Videos in the Wild

Beomsang Cho, Binh M. Le+5 more|arXiv (Cornell University)|Sep 5, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、現在の生成AI技術を反映した最新で多様性に富んだリアルワールドのディープフェイクデータセットRWDF-23を紹介する。このデータセットは、21か国および4か国語で、Reddit、YouTube、TikTok、Bilibiliから収集された2,000本の動画から構成されており、自然言語処理（NLP）およびメタデータ分析を通じて、ディープフェイク作成者の特徴、操作戦略、目的、視聴者の感情反応を分析している。その結果、被害者の民族的背景や性別に基づく顕著なバイアスが視聴者の反応に見られることが明らかになったほか、時間経過に伴うユーザー参加行動の傾向も特定された。

ABSTRACT

Deepfakes have become a growing concern in recent years, prompting researchers to develop benchmark datasets and detection algorithms to tackle the issue. However, existing datasets suffer from significant drawbacks that hamper their effectiveness. Notably, these datasets fail to encompass the latest deepfake videos produced by state-of-the-art methods that are being shared across various platforms. This limitation impedes the ability to keep pace with the rapid evolution of generative AI techniques employed in real-world deepfake production. Our contributions in this IRB-approved study are to bridge this knowledge gap from current real-world deepfakes by providing in-depth analysis. We first present the largest and most diverse and recent deepfake dataset (RWDF-23) collected from the wild to date, consisting of 2,000 deepfake videos collected from 4 platforms targeting 4 different languages span created from 21 countries: Reddit, YouTube, TikTok, and Bilibili. By expanding the dataset's scope beyond the previous research, we capture a broader range of real-world deepfake content, reflecting the ever-evolving landscape of online platforms. Also, we conduct a comprehensive analysis encompassing various aspects of deepfakes, including creators, manipulation strategies, purposes, and real-world content production methods. This allows us to gain valuable insights into the nuances and characteristics of deepfakes in different contexts. Lastly, in addition to the video content, we also collect viewer comments and interactions, enabling us to explore the engagements of internet users with deepfake content. By considering this rich contextual information, we aim to provide a holistic understanding of the {evolving} deepfake phenomenon and its impact on online platforms.

研究の動機と目的

• 最新で多様性に富み、現実世界の状況を反映したディープフェイクデータセットが不足している問題に対処すること。
• 野生の状況下における非ポルノのディープフェイク動画の特徴、作成者、目的を調査すること。
• 視聴者の関与と感情反応、特に被害者の民族的背景、性別、動画の種別に関する分析。
• プラットフォームや時間経過に伴うディープフェイクの拡散パターンと大衆の認識の傾向を特定すること。
• IRB承認を経た実証的データ収集と分析を通じて、より強固な検出および緩和戦略の開発を支援すること。

提案手法

• 21か国および4か国語で、Reddit、YouTube、TikTok、Bilibiliから2,000本のディープフェイク動画を体系的に収集し、多様な言語的・文化的背景を確保した。
• アップローダーの身元、被害者のデモグラフィック情報（性別、民族的背景、職業）、動画のタイムスタンプ、プラットフォーム固有の属性を含む包括的なメタデータを収集した。
• 視聴者のインタラクション（再生回数、いいね、コメント、コメントのタイムスタンプ）を収集し、時間経過に伴う関与のダイナミクスを分析した。
• 自然言語処理（NLP）技術を用いて、ユーザーのコメントにおける感情を分析し、感情スコアリングモデルを用いてリアルさやバイアスに関する大衆の認識を評価した。
• 作成者が提供したラベル（例：教育的、科学・技術）に基づき、動画をカテゴリに分類し、コンテンツタイプごとの感情の違いを比較した。
• Mann-Whitney U検定（有意水準α = 0.01）を用いて、被害者のデモグラフィック要因に起因する感情スコアの有意差を評価した。

Figure 1: Summary of our overall procedure to collect the dataset. Besides the videos, we have collected their metadata and also labeled various attributes of the content.

実験結果

リサーチクエスチョン

• RQ1 最近生成されたディープフェイク動画は、異なるプラットフォームや国でどのような特徴を示しているか？
• RQ2 ディープフェイク動画をアップロードしている人物は誰で、その作成・共有の意図は何か？
• RQ3 ユーザーのディープフェイク動画に対する反応や感情は時間経過とともにどのように変化するのか？感情に影響を与える要因は何か？

主な発見

• 白人系の被害者を対象とした動画は最も中立的なコメントを多く得た一方、東南アジア系の被害者を対象とした動画は相対的に肯定的な感情を多く得ており、視聴者の認識に地域的・民族的バイアスが存在する可能性が示唆された。
• 女性の被害者に対しては男性の被害者よりも著しく肯定的なコメントが多かった（p値 < 0.001）、これはしばしば歌やダンスといったエンタメコンテンツとして描かれる傾向があるためと考えられる。
• 作成者が「教育的」とラベル付けしたコンテンツは、より肯定的な視聴者反応を示しており、意識喚起を装ったディープフェイクの拡散に利用される可能性のあるベクトルであることが示唆された。
• 科学・技術をテーマにした動画は、『この技術はあまりに危険だ』などの否定的なコメントが多く寄せられ、懸念や恐怖の感情が反映されていた。
• 視聴者によるディープフェイクへの関心は2023年初期に急増し、平均1動画あたり6,000件のコメントに達した。これはMidJourneyなどの生成モデルの進歩に起因すると考えられる。
• 2021年半ば以降に関心は低下したが、2023年初期に再び上昇し、技術的進歩や注目すべき出来事と関連したサイクル的傾向が確認された。

(c) Geographic distribution of publisher