[논문 리뷰] Robust Attentive Deep Neural Network for Exposing GAN-generated Faces

Guo Hui, Shu Hu외 3명|arXiv (Cornell University)|2021. 09. 05.

Face recognition and analysis참고 문헌 48인용 수 7

한 줄 요약

이 논문은 두 눈 간 각막 반사광의 비일관성을 분석하여 GAN으로 생성된 얼굴를 탐지하는 강력하고 엔드 투 엔드의 주의 기반 딥러닝 프레임워크를 제안한다. 이중 손실(이진 교차 엔트로피 손실과 WMW-통계 기반 AUC 최적화)을 갖춘 잔차 주의 네트워크(RAN)를 사용하여, 균형 잡힌 및 균형이 깨진 데이터셋, 특히 새로 제작한 FFHQ-GAN 벤치마크에서 최신 기술 수준의 성능을 달성하며, 주의 맵을 통해 해석 가능한 탐지를 제공한다.

ABSTRACT

GAN-based techniques that generate and synthesize realistic faces have caused severe social concerns and security problems. Existing methods for detecting GAN-generated faces can perform well on limited public datasets. However, images from existing public datasets do not represent real-world scenarios well enough in terms of view variations and data distributions (where real faces largely outnumber synthetic faces). The state-of-the-art methods do not generalize well in real-world problems and lack the interpretability of detection results. Performance of existing GAN-face detection models degrades significantly when facing imbalanced data distributions. To address these shortcomings, we propose a robust, attentive, end-to-end network that can spot GAN-generated faces by analyzing their eye inconsistencies. Specifically, our model learns to identify inconsistent eye components by localizing and comparing the iris artifacts between the two eyes automatically. Our deep network addresses the imbalance learning issues by considering the AUC loss and the traditional cross-entropy loss jointly. Comprehensive evaluations of the FFHQ dataset in terms of both balanced and imbalanced scenarios demonstrate the superiority of the proposed method.

연구 동기 및 목표

• 실제 데이터 분포에서의 균형이 깨진 상황에서 기존 GAN-얼굴 탐지 방법의 일반화 및 해석 가능성 부족 문제를 해결하기 위해.
• 실제 얼굴가 훨씬 많고 가짜 얼굴이 적은 균형이 깨진 데이터셋에서 탐지 성능을 향상시키기 위해.
• 특히 각막 반사광의 물리적 비일관성을 통해 GAN으로 생성된 얼굴를 식별할 수 있는 설명 가능한 방법을 개발하기 위해.
• 균형이 깨진 학습 환경에서 AUC를 효과적으로 최적화할 수 있는 미분 가능한 손실 함수를 설계하기 위해.
• 실제 데이터 분포 조건에서 GAN-얼굴 탐지 평가를 위한 새로운 벤치마크 데이터셋, FFHQ-GAN을 구축하기 위해.

제안 방법

• 면상 이미지에서 망막 영역을 국소화하고 추출하기 위해 Mask R-CNN을 사용한다.
• 두 눈 간 각막 반사광의 비일관성을 자동으로 학습하고 국소화하기 위해 잔차 주의 네트워크(RAN)를 활용한다.
• 균형이 깨진 데이터에서의 최적화를 향상시키기 위해 ROC-AUC 손실을 윌코xon-맨-휘트니(WMW) 통계를 통해 유연화한 방식과 표준 이진 교차 엔트로피 손실을 조합한 공동 손실 함수를 설계한다.
• 통합 손실을 사용하여 특징 학습과 탐지를 동시에 최적화하는 엔드 투 엔드 학습을 적용한다.
• RAN에서 생성된 주의 맵을 활용하여, 예를 들어 비일관된 반사광과 같은 관심 영역을 강조함으로써 설명 가능성(해석 가능성)을 제공한다.
• 균형 잡힌 및 균형이 깨진 데이터 분할을 포함한 새로 제작된 FFHQ-GAN 데이터셋에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 눈 수준의 비일관성, 특히 각막 반사광에서의 비일관성은 GAN으로 생성된 얼굴를 신뢰성 있고 해석 가능한 방법으로 탐지하는 데 유용한 단서가 될 수 있는가?
• RQ2 GAN-얼굴 탐지에서 실제 얼굴가 훨씬 많고 가짜 얼굴이 적은 상황에서, 딥러닝 모델이 데이터 균형 문제에 어떻게 강건하게 대응할 수 있는가?
• RQ3 WMW 통계를 통한 AUC 최적화와 이진 교차 엔트로피 손실을 조합한 공동 손실 함수는 표준 이진 교차 엔트로피 손실만을 사용할 때보다 균형이 깨진 데이터셋에서 탐지 성능을 향상시키는가?
• RQ4 엔드 투 엔드 주의 기반 모델은 전통적인 CNN보다 GAN으로 생성된 얼굴의 미세한 결함을 더 잘 탐지할 수 있는가?
• RQ5 제안된 방법은 시야 변화와 비면대칭 얼굴 자세가 있는 실제 환경 상황에 얼마나 잘 일반화되는가?

주요 결과

• BCE + AUC( WMW를 통한) 손실을 사용한 제안된 RAN 모델은 FFHQ-GAN 데이터셋의 균형 잡힌 및 균형이 깨진 모든 변형에서 정확도, AUC, F1, 재현율 등 모든 지표에서 최고 성능을 기록했다.
• 균형이 깨진 FFHQ-GAN 데이터셋에서 모델은 재현율 0.92를 달성했으며, ResNet-50 및 Xception는 재현율 0.70 이하에 머물렀다.
• 제거 실험 결과, BCE + AUC 공동 손실이 BCE 전용 학습보다 성능 향상을 이끌어내었으며, 균형이 깨진 데이터셋에서 AUC 점수가 5.2% 향상되었다.
• 손실 함수의 최적 하이퍼파라미터 α는 0.4로 확인되었으며, 이 값에서 모든 테스트 값 중 최고의 AUC 성능을 기록했다.
• 주의 맵의 시각화 결과, 모델은 가짜 얼굴에서 각막 반사광에 집중하는 반면, 실제 얼굴에서는 망막 영역 전체에 걸쳐 더 넓게 주의를 산산이 흩트리는 경향을 보였다. 이는 모델이 관련된 결함을 올바르게 학습하고 있음을 확인한다.
• 모델은 비면대칭 및 측면 시각 이미지에서도 GAN으로 생성된 얼굴를 성공적으로 탐지하여 자세 변화에 대한 강건성을 입증했다.