[论文解读] Could you become more credible by being White? Assessing Impact of Race on Credibility with Deepfakes

Kurtis Haut, Caleb Wohn+7 more|arXiv (Cornell University)|Feb 16, 2021

Misinformation and Its Impacts参考文献 17被引用 8

一句话总结

本研究探讨了通过深度伪造技术改变外貌种族感知后，对视频和图像媒体中可信度感知的影响。利用CycleGAN和DeepFaceLab修改肤色和面部特征，同时保留音频，研究发现视频中的种族操纵显著提高了可信度感知（从61%上升至73%），而图像中的操纵则无显著影响，表明运动中的细微视觉线索会放大可信度判断中的种族偏见。

ABSTRACT

Computer mediated conversations (e.g., videoconferencing) is now the new mainstream media. How would credibility be impacted if one could change their race on the fly in these environments? We propose an approach using Deepfakes and a supporting GAN architecture to isolate visual features and alter racial perception. We then crowd-sourced over 800 survey responses to measure how credibility was influenced by changing the perceived race. We evaluate the effect of showing a still image of a Black person versus a still image of a White person using the same audio clip for each survey. We also test the effect of showing either an original video or an altered video where the appearance of the person in the original video is modified to appear more White. We measure credibility as the percent of participant responses who believed the speaker was telling the truth. We found that changing the race of a person in a static image has negligible impact on credibility. However, the same manipulation of race on a video increases credibility significantly (61\% to 73\% with p $

研究动机与目标

• 探究通过AI生成的视觉操纵改变种族感知后，对数字媒体中可信度的影响。
• 分离视觉种族感知（特别是肤色和面部特征）对可信度的影响，独立于音频或声音。
• 评估在种族被操纵的情况下，可信度判断在静态图像与动态视频之间是否存在差异。
• 考察在被操纵媒体中，对白人与黑人外貌个体的可信度判断所关联的公众情绪。
• 通过识别数字感知中无意识的种族偏见，为AI中介通信工具的伦理设计提供建议。

提出的方法

• 使用CycleGAN生成同一人呈现为黑人或白人、清晰且高保真的图像，确保身份一致但种族改变。
• 应用DeepFaceLab的编码器-解码器架构在视频中进行人脸替换，微妙地改变肤色和面部特征，使其看起来更像白人，同时保留原始音频和服装。
• 在Amazon Mechanical Turk（AMT）上开展四次受控调查，每项调查200名参与者，比较图像与视频条件下可信度判断的差异。
• 将可信度测量为在每种条件下认为说话者在说真话的参与者百分比。
• 进行统计分析（p < 0.05），评估不同条件下可信度差异的显著性。
• 对开放式调查回答进行VADER情感分析，以考察与可信度理由相关联的语言情感。

实验结果

研究问题

• RQ1 在静态图像中改变某人外貌种族感知，如何影响其可信度感知？
• RQ2 在视频中改变某人外貌种族感知，如何影响其可信度感知？
• RQ3 与静态图像相比，视频中的运动是否放大了可信度判断中的种族偏见？
• RQ4 在被操纵媒体中，对被感知为白人与黑人个体的可信度理由，其情感模式有何差异？
• RQ5 面部特征和肤色的细微AI驱动视觉变化，在多大程度上影响了数字交流中的真实性判断？

主要发现

• 在图像条件下，将种族感知从黑人改为白人对可信度感知无统计学显著影响（相信真实性比例分别为61.0%与61.5%）。
• 在视频条件下，当参与者感知说话者为白人时，更可能相信其在说真话（73.0%），相比原始视频（61.0%），p < 0.05。
• 在被操纵视频中认为说话者为白人的参与者，在其理由中使用了更多积极情感，VADER情感分析揭示了这一点。
• 可信度效应仅出现在动态视频中；在静态图像中未观察到类似效应，表明运动放大了感知中的种族偏见。
• 本研究表明，AI驱动的种族视觉操纵可无意识地提高可信度，尤其在视频格式中。
• 研究结果表明，深度伪造技术可能无意或故意地利用数字媒体中的种族偏见，对视频会议、求职面试和虚拟法庭程序等产生影响。