[논문 리뷰] Human Detection of Political Speech Deepfakes across Transcripts, Audio, and Video

Matthew Groh, Aruna Sankaranarayanan외 4명|arXiv (Cornell University)|2022. 02. 25.

Digital Media Forensic Detection인용 수 11

한 줄 요약

이 연구는 미국에서 모집된 2,215명의 참가자를 대상으로 사전 등록된 5개의 실험을 통해 텍스트, 음성, 영상 모odalities에서 AI가 생성한 정치 연설 딥퍼프(Deepfakes)를 인간이 감지할 수 있는 능력을 조사한다. 연구 결과, 음성-영상 정보가 감지 정확도를 크게 향상시키며, 최신 기술의 텍스트-음성 합성 음성으로 생성된 딥퍼프는 인간 연기자 음성으로 생성된 것보다 더 감지하기 어려운 것으로 나타나, 영상 모달리티가 본질적으로 신뢰도를 높인다는 가정에 도전한다.

ABSTRACT

Recent advances in technology for hyper-realistic visual and audio effects provoke the concern that deepfake videos of political speeches will soon be indistinguishable from authentic video recordings. The conventional wisdom in communication theory predicts people will fall for fake news more often when the same version of a story is presented as a video versus text. We conduct 5 pre-registered randomized experiments with 2,215 participants to evaluate how accurately humans distinguish real political speeches from fabrications across base rates of misinformation, audio sources, question framings, and media modalities. We find base rates of misinformation minimally influence discernment and deepfakes with audio produced by the state-of-the-art text-to-speech algorithms are harder to discern than the same deepfakes with voice actor audio. Moreover across all experiments, we find audio and visual information enables more accurate discernment than text alone: human discernment relies more on how something is said, the audio-visual cues, than what is said, the speech content.

연구 동기 및 목표

• 다양한 미디어 모달리티(텍스트, 음성, 영상)를 통해 인간이 정치 연설 딥퍼프를 감지하는 방식을 분석한다.
• 오락성 정보의 기저 확률이 인간의 감지 정확도에 미치는 영향을 평가한다.
• 텍스트만 있는 경우와 비교해 음성-영상 모달리티가 위조 콘텐츠의 신뢰도를 높이는지 평가한다.
• 최신 기술의 텍스트-음성 합성 알고리즘으로 생성된 딥퍼프가 인간 연기자 음성으로 생성된 것보다 더 속임수를 잘 쓰는지 조사한다.
• 딥퍼프 감지에서 말의 내용(무엇을 말했는지)과 표현 방식(어떻게 말했는지)의 상대적 역할을 이해한다.

제안 방법

• 미국에서 모집된 2,215명의 참가자를 대상으로 사전 등록된 5개의 무작위 실험을 실시했다.
• 참가자들은 텍스트, 음성, 영상 또는 실제 또는 합성 음성을 포함한 조합의 7가지 모달리티 조건 중 하나에서 정치 연설을 시청했다.
• 딥퍼프는 PDD 데이터셋을 사용해 생성되었으며, 합성 음성은 인간 연기자와 최신 기술의 텍스트-음성 합성 모델을 모두 활용했다.
• 실험에서는 딥퍼프의 기저 확률(10%, 50%, 90%)을 조작하고 질문 프레임을 다양화하여 감지 정확도를 평가했다.
• 주의 검사와 배제 기준을 통해 데이터 품질을 확보하였으며, 비준수로 인해 각 실험당 14~21명이 배제되었다.
• 통계 분석은 혼합 효과 로지스틱 회귀 모델을 사용하여 모달리티, 음성 유형, 실험 조건 간의 감지 정확도를 비교했다.

실험 결과

연구 질문

• RQ1 텍스트, 음성, 영상 등의 미디어 모달리티가 정치 연설 딥퍼프 감지 능력에 유의미한 영향을 미치는가?
• RQ2 오락성 정보의 기저 확률이 다양한 모달리티 간의 감지 정확도에 영향을 미치는가?
• RQ3 최신 기술의 텍스트-음성 합성 알고리즘으로 생성된 음성의 딥퍼프는 인간 연기자 음성으로 생성된 것보다 감지하기 더 어려운가?
• RQ4 말의 표현 방식(어떻게 말했는지)이 말의 내용(무엇을 말했는지)보다 감지 정확도에 얼마나 기여하는가?
• RQ5 딥퍼프에 비정상적인 입술 움직임이나 풍자적 신호가 포함되어 있을 경우 감지 성능이 왜곡되는가?

주요 결과

• 참가자들은 음성과 영상 정보가 함께 제공될 경우 딥퍼프 감지 정확도가 유의미하게 향상되었으며, 이는 '어떻게 말했는지'가 '무엇을 말했는지'보다 더 유용한 정보임을 시사한다.
• 오락성 정보의 기저 확률은 감지 정확도에 거의 영향을 주지 않아, 사람들이 진위 여부를 평가할 때 통계적 사전 확률을 크게 의존하지 않는다는 점을 시사한다.
• 최신 기술의 텍스트-음성 합성 모델로 생성된 음성의 딥퍼프는 동일한 시각적 조작을 가진 인간 연기자 음성 딥퍼프보다 유의미하게 감지하기 어려웠다.
• 참가자들은 텍스트 전용 조건보다 영상 조건에서 더 높은 감지 정확도를 보였으며, 이는 딥퍼프 맥락에서 현실감 히ュ리스틱이 작동함을 뒷받침한다.
• 비자연스러운 입술 움직임과 음성의 일관성 결여가 참가자들이 딥퍼프를 식별하는 데 주요 신호로 작용했으며, 이는 미세한 인지적 왜곡이 감지에 핵심적임을 시사한다.
• 참가자 중 1%만이 딥퍼프를 제작한 적이 있었고, 87%는 이미 예시를 본 바가 있어 광범위한 노출는 있었지만 개인적 참여는 제한적이었다.