[논문 리뷰] Could you become more credible by being White? Assessing Impact of Race on Credibility with Deepfakes

Kurtis Haut, Caleb Wohn외 7명|arXiv (Cornell University)|2021. 02. 16.

Misinformation and Its Impacts참고 문헌 17인용 수 8

한 줄 요약

이 연구는 딥페이크 기술을 통해 인식되는 인종을 변경함으로써 영상 및 이미지 미디어에서의 신뢰도에 어떤 영향을 미치는지 조사한다. 사이클GAN과 딥페이슬랩을 사용해 음성은 그대로 유지하면서 피부 톤과 얼굴 특징을 변경함으로써, 영상 기반의 인종 조작이 신뢰도에 상당한 영향을 미치는 것으로 나타났다 (61%에서 73%로 증가), 반면 이미지 기반 조작은 유의미한 영향을 미치지 않았다. 이는 움직임을 동반한 시각적 자극이 인종 편향을 더욱 심화시킨다는 것을 시사한다.

ABSTRACT

Computer mediated conversations (e.g., videoconferencing) is now the new mainstream media. How would credibility be impacted if one could change their race on the fly in these environments? We propose an approach using Deepfakes and a supporting GAN architecture to isolate visual features and alter racial perception. We then crowd-sourced over 800 survey responses to measure how credibility was influenced by changing the perceived race. We evaluate the effect of showing a still image of a Black person versus a still image of a White person using the same audio clip for each survey. We also test the effect of showing either an original video or an altered video where the appearance of the person in the original video is modified to appear more White. We measure credibility as the percent of participant responses who believed the speaker was telling the truth. We found that changing the race of a person in a static image has negligible impact on credibility. However, the same manipulation of race on a video increases credibility significantly (61\% to 73\% with p $

연구 동기 및 목표

• AI 기반의 시각적 조작을 통해 인식되는 인종이 디지털 미디어에서의 신뢰도에 어떤 영향을 미치는지 조사하기.
• 음성이나 목소리와는 무관하게, 시각적 인종 인식—특히 피부 톤과 얼굴 특징—이 신뢰도에 미치는 영향을 분리하여 분석하기.
• 인종 조작이 이루어진 상황에서, 정적 이미지와 동적 영상 간의 신뢰도 판단에 차이가 있는지 평가하기.
• 인간이 흑색인으로 인식되는 것과 백색인으로 인식되는 것에 대해, 조작된 미디어에서의 신뢰도 판단과 관련된 대중의 감정을 분석하기.
• 디지털 인식에서의 무의식적 인종 편향을 규명함으로써, AI 기반 커뮤니케이션 도구의 윤리적 설계를 뒷받침하기.

제안 방법

• 동일한 개인이 흑색인 또는 백색인으로 보이도록 고해상도의 명확한 이미지를 생성하기 위해 사이클GAN을 사용하여 신뢰성 있는 신원 유지와 함께 인종 조작을 수행.
• 딥페이슬랩의 인코더-디코더 아키텍처를 적용하여 영상에서 얼굴 교체를 수행함으로써, 원래의 음성과 옷차림을 유지하면서 피부 톤과 얼굴 특징을 약간 수정하여 백인으로 보이게 함.
• 아마존 메카니컬 터크(AMT)에서 4개의 통제된 설문조사를 실시하였으며, 각 설문에 200명의 참가자가 포함되어 이미지 조건과 영상 조건 간의 신뢰도 판단을 비교.
• 신뢰도를 각 조건에서 참가자 중에서 말하는 것이 사실이라고 믿는 비율로 측정.
• 조건 간의 신뢰도 차이에 대한 유의미성 평가를 위해 통계 분석(p < 0.05)을 수행.
• 개방형 설문 응답에 대해 VADER 감성 분석을 수행하여, 신뢰도 판단 근거와 관련된 언어적 감성 분석.

실험 결과

연구 질문

• RQ1 정적 이미지에서 사람의 인식되는 인종을 변경하면 그들의 인식되는 신뢰도에 어떤 영향을 미치는가?
• RQ2 영상에서 사람의 인식되는 인종을 변경하면 그들의 인식되는 신뢰도에 어떤 영향을 미치는가?
• RQ3 움직임(영상)이 정적 이미지에 비해 인식된 인종 편향을 신뢰도 판단에 더 강하게 약화시키는가?
• RQ4 조작된 미디어에서 흑색인으로 인식되는 사람과 백색인으로 인식되는 사람에 대해, 신뢰도 판단 근거와 관련된 감성 패턴은 어떠한가?
• RQ5 얼굴 특징과 피부 톤에 대한 미세한 AI 기반 시각적 변화가 디지털 커뮤니케이션에서 진실성 판단에 어느 정도의 영향을 미치는가?

주요 결과

• 이미지 조건에서는 흑색인에서 백색인으로 인식되는 인종을 변경해도 인식되는 신뢰도에 통계적으로 유의미한 영향을 미치지 않았다 (신뢰도 믿음 비율: 61.0% 대 61.5%).
• 영상 조건에서는 참가자들이 화자로 인식되는 사람이 백색인으로 보일 경우, 원본 영상(61.0%) 대비 진실성을 더 많이 믿는 경향이 유의미하게 높아져 73.0%로 나타났으며, p < 0.05.
• 영상에서 화자로 인식되는 사람이 백색인으로 보였을 경우, 참가자들은 VADER 감성 분석 결과 더 긍정적인 감성 어조로 판단 근거를 제시하였다.
• 신뢰도 효과는 동적 영상에 특이적으로 나타났으며, 정적 이미지에서는 유사한 효과를 관찰할 수 없었으며, 이는 움직임이 인식에서 인종 편향을 증폭시킨다는 것을 시사한다.
• 이 연구는 AI 기반의 시각적 인종 조작이 특히 영상 형식에서 무의식적으로 인식되는 신뢰도를 높일 수 있음을 입증한다.
• 연구 결과는 딥페이크 기술이 디지털 미디어에서의 인종 편향을 의도적이든 비의도적이든 악용할 수 있으며, 화상 회의, 구직 면접, 가상 법정 절차 등 다양한 분야에 영향을 미칠 수 있음을 시사한다.