[論文レビュー] Could you become more credible by being White? Assessing Impact of Race on Credibility with Deepfakes

Kurtis Haut, Caleb Wohn+7 more|arXiv (Cornell University)|Feb 16, 2021

Misinformation and Its Impacts参考文献 17被引用数 8

ひとこと要約

本研究では、深フェイク技術を用いて被験者の人種の認識を変更した場合、動画および画像メディアにおける信用性の評価にどのような影響を与えるかを調査している。CycleGANとDeepFaceLabを用いて音声や衣装を維持したまま肌の色や顔貌を変更したが、動画における人種の操作は信用性の評価を顕著に向上させた（61%から73%に上昇）。一方、画像における操作は有意な影響を及ぼさなかった。これは、動きを伴う映像における微細な視覚的手がかりが、信用性評価における人種的バイアスを強化することを示唆している。

ABSTRACT

Computer mediated conversations (e.g., videoconferencing) is now the new mainstream media. How would credibility be impacted if one could change their race on the fly in these environments? We propose an approach using Deepfakes and a supporting GAN architecture to isolate visual features and alter racial perception. We then crowd-sourced over 800 survey responses to measure how credibility was influenced by changing the perceived race. We evaluate the effect of showing a still image of a Black person versus a still image of a White person using the same audio clip for each survey. We also test the effect of showing either an original video or an altered video where the appearance of the person in the original video is modified to appear more White. We measure credibility as the percent of participant responses who believed the speaker was telling the truth. We found that changing the race of a person in a static image has negligible impact on credibility. However, the same manipulation of race on a video increases credibility significantly (61\% to 73\% with p $

研究の動機と目的

• AIによって生成された視覚的変更による人種の認識の変化が、デジタルメディアにおける信用性に与える影響を調査すること。
• 音声や声とは独立して、視覚的ないし外見上の人種認識（特に肌の色と顔貌）が信用性に与える影響を分離して評価すること。
• 人為的に人種を変更した状況下で、静止画像と動画の両方における信用性評価に差が生じるかどうかを評価すること。
• 人為的に白人と見なされた人物と黒人と見なされた人物の信用性評価に関連する公衆の感情を調査すること。
• デジタル認識における無意識的な人種的バイアスを特定することで、AIを介した通信ツールの倫理的設計を支援すること。

提案手法

• CycleGANを用いて、同一人物が黒人と見なされるか白人と見なされるかの明確で高精細な画像を生成。識別子が同一のまま人種の認識を変更した。
• DeepFaceLabのエンコーダ・デコーダアーキテクチャを用いて、動画における顔の入れ替えを実行。音声や衣装を維持したまま、肌の色と顔貌をわずかに白人に寄せるように変更した。
• Amazon Mechanical Turk（AMT）で4回の制御されたアンケート調査を実施。各アンケートに200名の参加者を割り当て、画像と動画の両条件における信用性評価を比較した。
• 信用性を、各条件下で発言者が真実を述べていると信じた参加者の割合として測定した。
• 信用性の差の有意性を評価するため、統計的分析（p < 0.05）を実施した。
• オープンエンドアンケートの回答に対してVADERセンチメント分析を実施し、信用性の根拠に関する言語的センチメントを調査した。

実験結果

リサーチクエスチョン

• RQ1 静止画像における人物の人種の認識を変更した場合、その人物の信用性評価にどのような影響を与えるか？
• RQ2 動画における人物の人種の認識を変更した場合、その人物の信用性評価にどのような影響を与えるか？
• RQ3 動画における動きの有無が、静止画像と比較して信用性評価における人種的バイアスを強化するか？
• RQ4 人為的に白人と見なされた人物と黒人と見なされた人物の信用性評価に関する根拠の文に、どのようなセンチメントパターンが見られるか？
• RQ5 顔貌や肌の色に対するAIによる微細な視覚的変更が、デジタルコミュニケーションにおける真実性評価にどの程度影響を与えるか？

主な発見

• 画像条件では、黒人と見なされる人から白人と見なされる人に変更しても、信用性評価に有意な差は認められなかった（真実を信じた割合は61.0%対61.5%）。
• 動画条件では、被験者が発言者を白人と見なした場合、真実を述べていると信じる割合が顕著に上昇した（73.0%）。元の動画（61.0%）と比較し、p < 0.05の有意差が確認された。
• 白人と見なされた発言者について、信用性を支持する根拠を述べた参加者は、VADERセンチメント分析の結果、より肯定的なセンチメントを示した。
• 信用性の効果は動的動画に特異的であり、静止画像では同様の効果は観察されなかった。これは、動きが人種的バイアスの認識を強化することを示している。
• 本研究は、AIによる人種の視覚的操作が、特に動画形式において、無意識的に信用性を高める可能性があることを示している。
• 研究結果は、深フェイク技術が、デジタルメディアにおける人種的バイアスを意図せずあるいは意図的に利用する可能性があり、ビデオ会議、求職面接、仮想法廷などの分野に影響を及ぼす可能性があることを示唆している。