[논문 리뷰] Eyes Tell All: Irregular Pupil Shapes Reveal GAN-generated Faces

Hui Guo, Shu Hu외 3명|arXiv (Cornell University)|2021. 09. 01.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 GAN으로 생성된 얼굴을 탐지하기 위해 새로운 해석 가능한 방법을 제안한다. GAN 훈련 과정에서 생리학적 제약이 없어 발생하는 비정상적인 동공 모양을 이용하여, 자동 동공 세그멘테이션과 타원형 피팅을 통해 경계 IoU(BIoU) 점수를 계산한다. 이 방법은 실제 얼굴 대비 GAN으로 생성된 얼굴 탐지에서 91% AUC를 달성하여 높은 효과성과 해석 가능성 입증.

ABSTRACT

Generative adversary network (GAN) generated high-realistic human faces have been used as profile images for fake social media accounts and are visually challenging to discern from real ones. In this work, we show that GAN-generated faces can be exposed via irregular pupil shapes. This phenomenon is caused by the lack of physiological constraints in the GAN models. We demonstrate that such artifacts exist widely in high-quality GAN-generated faces and further describe an automatic method to extract the pupils from two eyes and analysis their shapes for exposing the GAN-generated faces. Qualitative and quantitative evaluations of our method suggest its simplicity and effectiveness in distinguishing GAN-generated faces.

연구 동기 및 목표

• 악성 소셜 미디어 프로필에 악용되는 GAN으로 생성된 위조 얼굴의 증가 문제를 다루기 위해.
• 기존의 딥러닝 기반 탐지 방법의 한계를 극복하기 위해, 특히 다양한 GAN 아키텍처 간 일반화 능력과 해석 가능성 부족 문제를 해결하기 위해.
• GAN으로 생성된 얼굴에 내재된 생리학적 일관성 결여를 고려하여, 특히 비정상적인 동공 모양을 포렌식적 단서로 활용하기 위해.
• 인간 동공의 천연 기하학적 규칙성을 활용하여 효과적이고 해석 가능한 방법을 개발하기 위해.

제안 방법

• 딥러닝 기반 세그멘테이션 모델을 사용하여 얼굴 이미지의 동공 영역을 자동으로 세그멘테이션한다.
• 각 세그멘테이션된 동공 경계에 타원형 파arametric 모델을 피팅하여 이상적인 생리학적 형태를 근사한다.
• 세그멘테이션된 동공 마스크와 피팅된 타원형 사이의 경계 교차율(Intersection-over-Union, BIoU) 점수를 계산하여 형태 규칙성의 척도로 사용한다.
• 양쪽 눈의 평균 BIoU 점수를 포렌식적 특징으로 활용하여 얼굴 이미지를 실제 얼굴 또는 GAN으로 생성된 얼굴로 분류한다.
• BIoU 계산에서 경계 이격에 대한 민감도를 조절하기 위해 거리 매개변수 $d$를 적용한다.
• 실제 얼굴은 FFHQ 데이터셋에서, GAN으로 생성된 얼굴은 StyleGAN2에서 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 GAN으로 생성된 얼굴에서 비정상적인 동공 모양이 탐지에 신뢰할 수 있는 포렌식적 단서가 될 수 있는가?
• RQ2 실제 인간 얼굴과 GAN으로 생성된 얼굴 간 동공의 형태 규칙성은 어떻게 다를까?
• RQ3 동공 기하학을 기반으로 한 단순하고 해석 가능한 방법이 블랙박스 딥러닝 탐지기법보다 일반화 능력과 설명 가능성에서 뛰어나게 작동할 수 있는가?
• RQ4 BIoU 점수는 얼굴 이미지의 진위성과 어느 정도 상관이 있는가?

주요 결과

• 실제 얼굴의 BIoU 점수 분포는 GAN으로 생성된 얼굴보다 유의미하게 높고 명확히 분리되어 있어 강력한 분류 능력을 보여준다.
• 합쳐진 FFHQ 및 StyleGAN2 데이터셋에서 AUC가 0.91로 높은 탐지 정확도를 확보하였다.
• BIoU 계산에서 거리 매개변수 $d=4$일 때 경계 이격에 대한 민감도가 최적화되어 성능과 내구성의 균형을 이룬다.
• 희귀하지만 병적 동공 형태(예: 감염) 또는 영상 아티팩트(예: 가림, 조명)로 인해 오진 경고가 발생할 수 있으나, 실제 환경에서는 드물게 발생한다.
• 이 방법은 계산적으로 효율적이며 해석 가능하다. BIoU 점수는 동공의 기하학적 규칙성을 직접 반영하기 때문이다.
• 시각적 점검만으로도 종종 비정상적인 동공 모양을 관찰하여 GAN으로 생성된 얼굴를 쉽게 구분할 수 있어, 이 방법의 직관적 기반을 확인할 수 있다.