[논문 리뷰] More Real than Real: A Study on Human Visual Perception of Synthetic Faces

Federica Lago, Cecilia Pasquini외 4명|arXiv (Cornell University)|2021. 06. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 8

한 줄 요약

이 연구는 최신 GANs에 의해 생성된 합성 얼굴의 인간 시각 인지에 대해 조사하며, 최근 인공지능으로 생성된 얼굴들이 너무도 현실적으로 만들어져 참 얼굴보다도 더 자주 가짜로 잘못 식별된다는 것을 밝혀냈다. 민감도와 편향 분석을 포함한 심리물리 실험을 통해 저자들은 스타일 제너레이티브 어드바이저 모델 2(StyleGAN2, AI-19)가 생성한 얼굴가 참 얼굴보다 더 진정성 있게 인식된다는 것을 발견했으며, 이는 합성 미디어의 현실성에 있어 중요한 전환점을 보여주며 인간의 탐지 능력에 도전하고 신뢰성 문제를 제기한다.

ABSTRACT

Deep fakes became extremely popular in the last years, also thanks to their increasing realism. Therefore, there is the need to measures human's ability to distinguish between real and synthetic face images when confronted with cutting-edge creation technologies. We describe the design and results of a perceptual experiment we have conducted, where a wide and diverse group of volunteers has been exposed to synthetic face images produced by state-of-the-art Generative Adversarial Networks (namely, PG-GAN, StyleGAN, StyleGAN2). The experiment outcomes reveal how strongly we should call into question our human ability to discriminate real faces from synthetic ones generated through modern AI.

연구 동기 및 목표

• 최신 GANs가 생성한 참, 가짜 얼굴 이미지 간에 인간이 신뢰성 있게 구별할 수 있는지 평가하기 위해.
• AI로 생성된 얼굴의 현실성이 인간의 인지와 결정 과정에 미치는 영향을 얼굴 인식 작업에서 조사하기 위해.
• 다양한 GAN 아키텍처(PGGAN, StyleGAN, StyleGAN2)가 인간의 탐지 정확도와 인지 편향에 미치는 영향을 평가하기 위해.
• 합성 얼굴의 현실성이 미디어 신뢰성, 딥페이크 탐지 및 인지신경과학 연구에 미치는 영향을 탐색하기 위해.

제안 방법

• 세 가지 GAN 생성 데이터셋(AI-17, AI-18, AI-19)과 참 얼굴 데이터셋을 대상으로 인간 참가자를 대상으로 심리물리 실험을 수행하여 이미지를 참 또는 가짜로 분류하도록 하였다.
• 신호 탐지 이론을 사용하여 분류 정확도를 민감도(d')와 편향(β)으로 분해하여 인지 능력과 반응 성향을 측정하였다.
• d'와 β 프레임워크를 적용하여 참과 가짜 얼굴을 얼마나 잘 구별했는지, 그리고 참 또는 가짜로 분류하는 경향이 있었는지 정량화하였다.
• PGGAN(2017), StyleGAN(2018), StyleGAN2(2019)를 기준으로 하여 시간에 따른 현실성 향상 추세를 평가하기 위해 다양한 GAN 간 성능을 비교하였다.
• 각 합성 데이터셋과 참 얼굴 세트에 대해 민감도와 편향을 추정하기 위해 통계 모델을 사용하여 데이터를 분석하였다.
• 외부 요인들이 인지에 영향을 주지 않도록 제어된 조건에서 참가자들이 이미지를 노출시킨 데이터를 수집하였다.

실험 결과

연구 질문

• RQ1 인간 관찰자는 최신 GANs가 생성한 참 얼굴과 가짜 얼굴을 신뢰성 있게 구별할 수 있는가?
• RQ2 다양한 GAN 아키텍처(PGGAN, StyleGAN, StyleGAN2) 간에 인간이 인식하는 합성 얼굴의 현실성은 어떻게 비교되는가?
• RQ3 최근 GANs를 사용할 경우 인간 참가자들이 가짜 얼굴을 참으로 분류하는 경향이 얼마나 강한가?
• RQ4 AI로 생성된 얼굴의 현실성이 인간 인지에서 참 얼굴의 현실성보다 뛰어나지는가?
• RQ5 다른 세대의 합성 얼굴 생성 기술 간에 얼굴 분류의 민감도와 편향은 어떻게 변화하는가?

주요 결과

• 참가자들은 AI-17(PGGAN) 얼굴를 참 얼굴과 구별하는 데 82%의 정확도를 달성하여 이전 GANs는 여전히 인간에 의해 탐지 가능하다는 것을 보여주었다.
• AI-18(StyleGAN)의 경우 성능가 무작위 추측 수준에 가까웠으며, 민감도와 편향 측면에서 탐지에 유의미한 인지적 이점이 없었다.
• AI-19(StyleGAN2)의 경우 참가자들은 부정의 민감도 지수와 극도로 높은 편향을 보였으며, 이는 가짜 얼굴를 참 얼굴로 분류할 가능성이 참 얼굴보다 더 높다는 것을 의미한다.
• AI-19 얼굴는 참 얼굴보다 더 진정성 있게 인식되었으며, 참가자 68%가 이를 참 얼굴로 분류한 반면 참 얼굴는 52%에 그쳤다.
• 이 연구는 합성 얼굴의 현실성에 있어 중요한 전환점을 보여주며, 최근 GANs는 인간의 인지 임계점을 초월하여 합성 얼굴가 참 얼굴보다 더 믿을 만하게 되었다는 것을 입증한다.
• 결과는 최신 합성 얼굴가 매우 현실적이며 기묘하지 않다는 점에서, '기묘한 골짜이 효과'가 더 이상 적용되지 않을 수 있음을 시사한다.