[논문 리뷰] Testing Human Ability To Detect Deepfake Images of Human Faces

Sergi D. Bray, Shane D. Johnson외 1명|arXiv (Cornell University)|2022. 12. 07.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

이 연구는 4개의 그룹(대조군 및 간섭 조건 포함)에 속한 총 280명의 참가자를 대상으로 온라인 설문조사를 통해 StyleGAN2로 생성된 인간 얼굴의 딥페이크 이미지를 인간이 감지할 수 있는 능력을 평가한다. 尽管 높은 자신감을 보였지만 참가자들은 랜덤 성능을 略로 뛰어넘는 62%의 정확도에 그쳤으며, 간섭 조건이 감지 능력을 유의미하게 향상시키지 못했다. 이는 합성 미디어에 대한 인간 인지의 심각한 취약성을 드러낸다.

ABSTRACT

Deepfakes are computationally-created entities that falsely represent reality. They can take image, video, and audio modalities, and pose a threat to many areas of systems and societies, comprising a topic of interest to various aspects of cybersecurity and cybersafety. In 2020 a workshop consulting AI experts from academia, policing, government, the private sector, and state security agencies ranked deepfakes as the most serious AI threat. These experts noted that since fake material can propagate through many uncontrolled routes, changes in citizen behaviour may be the only effective defence. This study aims to assess human ability to identify image deepfakes of human faces (StyleGAN2:FFHQ) from nondeepfake images (FFHQ), and to assess the effectiveness of simple interventions intended to improve detection accuracy. Using an online survey, 280 participants were randomly allocated to one of four groups: a control group, and 3 assistance interventions. Each participant was shown a sequence of 20 images randomly selected from a pool of 50 deepfake and 50 real images of human faces. Participants were asked if each image was AI-generated or not, to report their confidence, and to describe the reasoning behind each response. Overall detection accuracy was only just above chance and none of the interventions significantly improved this. Participants' confidence in their answers was high and unrelated to accuracy. Assessing the results on a per-image basis reveals participants consistently found certain images harder to label correctly, but reported similarly high confidence regardless of the image. Thus, although participant accuracy was 62% overall, this accuracy across images ranged quite evenly between 85% and 30%, with an accuracy of below 50% for one in every five images. We interpret the findings as suggesting that there is a need for an urgent call to action to address this threat.

연구 동기 및 목표

• StyleGAN2로 생성된 인간 얼굴의 딥페이크 이미지를 인간이 감지할 수 있는 능력을 평가하기 위해.
• 간단한 간섭 조치가 인간의 감지 정확도 향상에 효과적인지 평가하기 위해.
• 자신감 수준과 실제 감지 정확도 간의 관계를 분석하기 위해.
• 딥페이크를 감지하기 어려운 특정 이미지 특징을 규명하기 위해.

제안 방법

• 참가자들은 온라인 설문조사를 통해 모집되었으며, 무작위로 4개 그룹 중 하나에 배정되었다: 대조군 또는 세 가지 간섭 조건.
• 각 참가자는 FFHQ 데이터셋에서 추출한 균형 잡힌 50장의 진짜 이미지와 50장의 딥페이크 이미지 중에서 무작위로 선택된 20장의 이미지를 확인했다.
• 참가자들은 각 이미지를 AI 생성 여부 또는 진짜로 분류하며, 판단에 대한 자신감과 이유를 함께 기재했다.
• 정확도는 참가자별 및 이미지별로 계산되었으며, 자신감 수준은 정확도와 상관 분석되었다.
• 통계적 분석을 통해 간섭 조치의 효과를 평가하기 위해 그룹 간 감지 성능을 비교했다.
• 이미지별 분석을 통해 자주 잘못 분류된 이미지를 확인하고, 특정 딥페이크 샘플에 대해 인간이 어려움을 겪는 패턴을 규명했다.

실험 결과

연구 질문

• RQ1 StyleGAN2로 생성된 인간 얼굴의 딥페이크 이미지에 대해 인간의 기본 감지 정확도는 얼마인가?
• RQ2 간단한 간섭 조치가 인간의 딥페이크 이미지 감지 능력을 유의미하게 향상시키는가?
• RQ3 딥페이크를 식별할 때 자기 보고한 자신감은 실제 정확도와 어떻게 관련되어 있는가?
• RQ4 어느 특정 딥페이크 이미지가 인간에 의해 자주 잘못 분류되는가? 어떤 특징이 이를 기만적으로 만들었는가?

주요 결과

• 전반적인 감지 정확도는 62%였으며, 이는 랜덤 성능을 略로 뛰어넘는 정도로, 인간이 딥페이크 이미지를 신뢰성 있게 감지하는 능력이 떨어짐을 시사한다.
• 대조군과 비교해 볼 때, 세 가지 간섭 조건 중 어느 것도 감지 정확도 향상에 유의미한 영향을 주지 못했다.
• 참가자들은 판단에 대해 높은 자신감을 보였지만, 이 자신감은 실제 정확도와 의미 있는 상관관계를 보이지 않았다.
• 이미지별로 정확도가 크게 편차가 있었으며, 30%에서 85%까지 변동했고, 5개 중 1개의 이미지에서는 50% 이하의 정확도를 기록했다.
• 일부 딥페이크 이미지는 참가자들 사이에서 일관되게 잘못 분류되었으며, 인간 인지에서 회피되는 특정 시각적 아티팩트나 패턴이 있음을 시사한다.
• 이러한 결과는 인간 인지에 대한 체계적인 취약성을 드러내며, 딥페이크 위협에 대응하기 위해 기술적 및 교육적 조치가 긴급히 필요하다는 점을 강조한다.