[논문 리뷰] Exposing GAN-generated Faces Using Inconsistent Corneal Specular Highlights

Shu Hu, Yuezun Li외 1명|arXiv (Cornell University)|2020. 09. 24.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

이 논문은 GAN이 빛 반사 기하학에서 물리적 일관성을 유지하지 못함을 고려하여, 양쪽 눈 사이의 일관되지 않은 망막 반사광을 분석함으로써 GAN으로 생성된 얼굴을 탐지하는 새로운 방법을 제안한다. 이 방법은 자동으로 감지된 반사 영역의 IoU 기반 유사도 점수를 사용하여, 실제 얼굴과 GAN으로 생성된 얼굴을 구분하는 데 AUC 0.94의 성능을 달성한다.

ABSTRACT

Sophisticated generative adversary network (GAN) models are now able to synthesize highly realistic human faces that are difficult to discern from real ones visually. In this work, we show that GAN synthesized faces can be exposed with the inconsistent corneal specular highlights between two eyes. The inconsistency is caused by the lack of physical/physiological constraints in the GAN models. We show that such artifacts exist widely in high-quality GAN synthesized faces and further describe an automatic method to extract and compare corneal specular highlights from two eyes. Qualitative and quantitative evaluations of our method suggest its simplicity and effectiveness in distinguishing GAN synthesized faces.

연구 동기 및 목표

• 온라인에서 퍼지는 AI 생성 가짜 인간 얼굴의 증가하는 위협에 대응하기 위해.
• 실제 세계의 광학적 제약을 위반하는 GAN으로 생성된 얼굴의 물리적 일관성 결여를 식별하기 위해.
• 생리학적 및 물리적 타당성에 기반한 강력하고 해석 가능한 탐지 방법을 개발하기 위해.
• 일관되지 않은 망막 반사광이 GAN으로 생성된 얼굴를 탐지하는 신뢰할 수 있는 신호로 기능함을 입증하기 위해.

제안 방법

• 고해상도 얼굴 이미지에서 눈 영역을 국소화하기 위해 DLib를 사용해 얼굴 랜드마크를 검출한다.
• Canny 경계 검출 및 Hough 변환을 적용하여 망막 경계를 원형 경계로 식별한다.
• 눈 영역와 감지된 망막 경계의 교차부분으로 망막 영역을 추출한다.
• 적응형 임계값을 사용해 망막 표면에서 고강도 반사광 영역을 분리한다.
• 비교를 가능하게 하기 위해 이동 변환을 통해 왼쪽 및 오른쪽 눈의 반사광 영역을 정렬한다.
• 두 정렬된 영역 간의 교차 영역(IoU) 점수를 계산하여 유사도 지표로 사용한다.

실험 결과

연구 질문

• RQ1 양쪽 눈 사이의 일관되지 않은 망막 반사광이 실제 얼굴과 GAN으로 생성된 얼굴를 신뢰성 있게 구분할 수 있는가?
• RQ2 GAN 모델이 양쪽 눈에 걸쳐 빛 반사 패턴에서 물리적 일관성을 얼마나 잘 유지하지 못하는가?
• RQ3 망막 반사광의 IoU 점수가 GAN 얼굴 탐지에 대한 정량적 특징으로 얼마나 효과적인가?
• RQ4 이 방법은 특히 고품질 모델인 StyleGAN2와 같은 다양한 GAN 합성 모델에 대해 일반화 가능한가?

주요 결과

• 망막 반사광의 IoU 점수 분포는 실제 얼굴과 GAN으로 생성된 얼굴 사이에 명확한 분리를 보인다.
• 수신기작동특성(ROC) 곡선에서 AUC 0.94를 달성하여 강력한 분류 성능를 입증한다.
• 포트레이트 설정에서 실제 얼굴은 반사광의 형태와 위치에서 높은 유사성을 보이며, 반면 GAN으로 생성된 얼굴는 수량, 형태, 위치에서 일관되지 않은 패턴을 보인다.
• 이 일관성의 결여는 GAN이 얼굴 기하학과 빛 반사 모델링 시 물리적 및 생리학적 제약을 충족하지 못하기 때문이다.
• GAN 모델(StyleGAN2)이 비대칭 얼굴나 일관되지 않은 눈 색상 등의 다른 잡음 요소를 제거한 후에도 이 방법은 여전히 효과가 있다.