[論文レビュー] Diverse Misinformation: Impacts of Human Biases on Detection of Deepfakes on Networks

Juniper Lovato, Laurent Hébert‐Dufresne+6 more|arXiv (Cornell University)|Oct 18, 2022

Misinformation and Its Impacts被引用数 4

ひとこと要約

本研究は、人間のバイアスとデモグラフィック要因の一致が、ソーシャルネットワーク上でのディープフェイクに対する感受性にどのように影響するかを、米国の参加者2,016名を対象とした観察的アンケートを用いて調査している。研究では、人物像のデモグラフィック要因が自身と一致する場合、ユーザーはディープフェイクをより正確に検出できることが判明した。また、数学的モデルにより、多様なソーシャルネットワークが集団的誤情報感受性を低減する「ヘッド・コルレクション」を可能にする可能性があると示唆されている。

ABSTRACT

Social media platforms often assume that users can self-correct against misinformation. However, social media users are not equally susceptible to all misinformation as their biases influence what types of misinformation might thrive and who might be at risk. We call "diverse misinformation" the complex relationships between human biases and demographics represented in misinformation. To investigate how users' biases impact their susceptibility and their ability to correct each other, we analyze classification of deepfakes as a type of diverse misinformation. We chose deepfakes as a case study for three reasons: 1) their classification as misinformation is more objective; 2) we can control the demographics of the personas presented; 3) deepfakes are a real-world concern with associated harms that must be better understood. Our paper presents an observational survey (N=2,016) where participants are exposed to videos and asked questions about their attributes, not knowing some might be deepfakes. Our analysis investigates the extent to which different users are duped and which perceived demographics of deepfake personas tend to mislead. We find that accuracy varies by demographics, and participants are generally better at classifying videos that match them. We extrapolate from these results to understand the potential population-level impacts of these biases using a mathematical model of the interplay between diverse misinformation and crowd correction. Our model suggests that diverse contacts might provide "herd correction" where friends can protect each other. Altogether, human biases and the attributes of misinformation matter greatly, but having a diverse social group may help reduce susceptibility to misinformation.

研究の動機と目的

• 個人のバイアスおよびデモグラフィック要因の一致が、ソーシャルメディア上でのディープフェイクに対する感受性に与える影響を調査すること。
• 動画内の人物像が自身のデモグラフィックアイデンティティ（例：人種、性別、年齢）と一致する場合、ユーザーがディープフェイクをより正確に検出できるかどうかを検討すること。
• 多様な誤情報の影響を人口レベルでモデル化し、多様なソーシャルネットワークが集団的是正を可能にするかどうかを評価すること。
• ディープフェイク生成におけるアルゴリズム的バイアスとは独立して、認識とバイアスの役割が誤情報検出に与える影響を評価すること。
• 大規模なアンケートを用いて、視聴者のデモグラフィック要因とディープフェイク検出の正確性の相互作用を実証的根拠で示すこと。

提案手法

• 参加者がディープフェイク検出について明示的なプレーミングを受けない状態で、動画を視聴する観察的アンケート（N=2,016）をQualtricsパネルを用いて実施した。
• 参加者が人間の分類器としての正確性を測定するために、マーティンの相関係数（MCC）を用い、-1（完全な不一致）から1（完全な一致）までの値をとる。
• バイオスティング（10,000サンプル）を用いて、デモグラフィックサブグループ間のMCC差を比較し、バイアスの統計的有意性を検証した。
• ベイジアンロジスティック回帰を用いて、年齢・性別・人種の一致と検出正確性との関係をモデル化した。
• 誤情報の拡散と是正のメカニズムを模擬する数学的モデルを構築し、多様な社会的接触を持つネットワークにおける「ヘッド・コルレクション」効果をシミュレーションした。
• アンケートから集約され、匿名化されたデータを分析した。コードとデータはGitHubで公開されており、参加者のプライバシーは保護された状態である。

実験結果

リサーチクエスチョン

• RQ1 参加者とディープフェイクの人物像との間のデモグラフィック一致が、検出正確性にどのように影響するか？
• RQ2 どのデモグラフィックグループが、ディープフェイクにだまされやすいか、逆にどのグループが最も感受性が低いのか？
• RQ3 多様なソーシャルネットワークが、仲間同士の影響力によって誤情報の是正をどの程度可能にするか？
• RQ4 アルゴリズム的バイアスとは独立して、人間の認識バイアスがディープフェイク検出結果に与える影響は？
• RQ5 個人の感受性がアイデンティティの特徴によって異なる場合、多様な誤情報が人口レベルでどのような影響を及ぼすか？

主な発見

• 参加者が自身のデモグラフィック要因（人種、性別、年齢）と一致する人物像を含むディープフェイクを検出する際、有意に正確性が向上しており、顕著な視聴者バイアスが示された。
• 検出正確性のマーティンの相関係数（MCC）はデモグラフィックグループごとに変動し、参加者と人物像が同じデモグラフィック属性を持つ場合に高いMCC値が観察された。
• 参加者は、同じ人種・性別・年齢層の人物を描いたディープフェイクに対して、より高い検出正確性を示した。これは、内的なグループ認識が批判的評価を強化することを示唆している。
• 数学的モデルにより、多様なソーシャルネットワークが「ヘッド・コルレクション」を引き起こす可能性があることが示された。これは、多様なデモグラフィック背景を持つ友人同士が協働して誤情報感受性を低減する仕組みである。
• Facebookディープフェイク検出チャレンジなどのバランスの取れたディープフェイクデータセットであっても、人間の認識バイアスが残存し、検出結果に顕著な影響を与えることが判明した。
• 動画品質に関する体系的なアルゴリズム的バイアスの証拠は得られなかった。観察された正確性の差は、視聴者の認識バイアスに起因しており、動画の精細さとは無関係であった。