[논문 리뷰] Comparing Human and Machine Deepfake Detection with Affective and Holistic Processing.

Matthew Groh, Ziv Epstein외 2명|arXiv (Cornell University)|2021. 05. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 72인용 수 4

한 줄 요약

이 연구는 3개의 온라인 실험을 통해 총 15,016명의 참가자를 대상으로 인간과 AI 기반 딥패이크 탐지 능력을 비교한다. 인간과 최신 기술 수준의 모델이 정확도에서 유사하게 성과를 내지만, 오류 유형은 다르다. 모델 예측이 올바를 경우 인간의 판단과 모델 예측을 융합하면 탐지 성능이 향상되지만, 모델의 오류는 인간의 성능을 떨어뜨린다. 정서 상태와 전체적인 얼굴 처리 능력은 인간의 탐지 성능에 크게 영향을 미치며, 이는 심리적 및 지각적 요인이 딥패이크에 대한 방어 수단으로서 핵심적임을 시사한다.

ABSTRACT

The recent emergence of deepfake videos leads to an important societal question: how can we know if a video that we watch is real or fake? In three online studies with 15,016 participants, we present authentic videos and deepfakes and ask participants to identify which is which. We compare the performance of ordinary participants against the leading computer vision deepfake detection model and find them similarly accurate while making different kinds of mistakes. Together, participants with access to the model's prediction are more accurate than either alone, but inaccurate model predictions often decrease participants' accuracy. We embed randomized experiments and find: incidental anger decreases participants' performance and obstructing holistic visual processing of faces also hinders participants' performance while mostly not affecting the model's. These results suggest that considering emotional influences and harnessing specialized, holistic visual processing of ordinary people could be promising defenses against machine-manipulated media.

연구 동기 및 목표

• 일반인과 최신 기술 수준의 컴퓨터 비전 모델이 딥패이크 영상 탐지 능력에서 어떻게 비교되는지 조사하기 위해.
• 부수적인 정서 상태와 전체적 시각 처리 방식이 인간의 딥패이크 탐지 성능에 미치는 영향을 검토하기 위해.
• 인간의 판단과 AI 모델 예측을 융합할 경우 전체 탐지 정확도가 향상되는지 평가하기 위해.
• 기계로 조작된 미디어에 대비하여 방어 수단이 될 수 있는 심리적 및 지각적 요인을 규명하기 위해.

제안 방법

• 15,016명의 참가자를 대상으로 3개의 온라인 연구를 수행하여 진짜 영상와 딥패이크 영상을 노출하고 참가자들이 진짜 영상인지 식별하도록 요청함.
• 유명한 컴퓨터 비전 딥패이크 탐지 모델의 예측 결과와 인간의 탐지 정확도를 비교함.
• 부수적인 분노 상태를 유도하고 얼굴의 전체적 시각 처리를 차단하는 랜덤화된 실험 설계를 통합함.
• 정서적 및 지각적 간섭 조건 하에서 성능 변화를 측정함.
• 특히 모델 예측이 잘못되었을 경우 인간의 결정과 모델 예측 간 상호작용 효과를 분석함.
• 통계 모델링을 사용하여 정서 상태와 시각 처리 제약 조건이 탐지 정확도에 미치는 영향을 평가함.

실험 결과

연구 질문

• RQ1 일반인은 최신 기술 수준의 딥패이크 탐지 모델과 비교해 얼마나 정확하게 조작된 영상을 식별할 수 있는가?
• RQ2 부수적인 분노 상태는 인간의 딥패이크 탐지 성능에 영향을 미치나, 모델의 성능에는 영향을 주는가?
• RQ3 얼굴의 전체적 시각 처리를 차단할 경우 인간의 딥패이크 탐지 정확도에 어떤 영향을 미치며, 이는 모델에게도 동일하게 영향을 주는가?
• RQ4 인간의 판단과 AI 모델 예측을 융합하면 전체 탐지 정확도가 향상되는가, 그리고 어떤 조건에서 그러한 향상이 이루어지는가?
• RQ5 정서적 및 지각적 요인이 인간의 딥패이크 기만에 대한 민감도를 얼마나 조절하는가?

주요 결과

• 인간과 최신 기술 수준의 컴퓨터 비전 딥패이크 탐지 모델은 딥패이크 식별에서 유사한 높은 정확도를 달성함.
• 부수적인 분노 상태는 인간의 탐지 성능을 유의미하게 저하시키지만, 모델의 정확도에는 거의 또는 영향을 주지 않음.
• 얼굴의 전체적 시각 처리를 차단하면 인간의 탐지 성능이 저하되지만, 모델의 성능에는 유의미한 영향을 주지 않음.
• 모델의 예측이 올바를 경우, 모델의 출력을 인간의 판단과 융합하면 개별적으로 사용했을 때보다 전체 탐지 정확도가 향상됨.
• 모델의 잘못된 예측은 종종 인간의 탐지 정확도를 떨어뜨리며, 이는 AI에 과도하게 의존할 경우 해로울 수 있음을 시사함.
• 결과적으로 정서 상태와 전체적 시각 처리 능력은 인간의 딥패이크 탐지에서 핵심적이지만, 과소평가되고 있는 요소임을 시사함.