[논문 리뷰] Exposing Deep Fakes Using Inconsistent Head Poses

Xin Yang, Yuezun Li외 1명|arXiv (Cornell University)|2018. 11. 01.

Digital Media Forensic Detection참고 문헌 2인용 수 22

한 줄 요약

이 논문은 인공지능으로 생성된 이미지에서 중심 얼굴 영역과 전체 얼굴 간의 일관되지 않은 머리 자세를 이용해 딥페이크를 탐지하는 방법을 제안한다. 얼굴의 2차원 지표점에서 3차원 머리 자세를 추정하고, 전체 얼굴에서 유도된 자세와 중심 영역에서 유도된 자세 간의 차이를 측정함으로써 이를 SVM 분류기의 특징으로 활용한다. 이 방법은 UADFV 데이터셋에서 89%의 AUROC를 달성했으며, DARPA GAN 챌린지 데이터셋에서는 84.3%의 성능을 보였다.

ABSTRACT

In this paper, we propose a new method to expose AI-generated fake face images or videos (commonly known as the Deep Fakes). Our method is based on the observations that Deep Fakes are created by splicing synthesized face region into the original image, and in doing so, introducing errors that can be revealed when 3D head poses are estimated from the face images. We perform experiments to demonstrate this phenomenon and further develop a classification method based on this cue. Using features based on this cue, an SVM classifier is evaluated using a set of real face images and Deep Fakes.

연구 동기 및 목표

• 공공을 오도하는 증가하는 인공지능 기반 딥페이크 영상 및 이미지의 위협을 해결하기 위해.
• 특히 얼굴 지표점의 일관성에 문제가 있는 딥페이크 생성 파이프라인의 내재된 결함을 식별하기 위해.
• 머리 자세 추정에서 발생하는 기하학적 불일치를 바탕으로 한 강건하고 일반화 가능한 탐지 방법을 개발하기 위해.
• 자세 기반 특징이 진짜와 가짜 얼굴 이미지를 구분하는 데 얼마나 효과적인지 평가하기 위해.

제안 방법

• 2차원 얼굴 지표점과 3차원 평균 얼굴 모델을 활용해 PnP( perspective-n-point) 알고리즘을 통해 3차원 머리 자세를 추정한다.
• 전체 얼굴 지표점(전체 영역)과 중심 영역의 지표점만을 사용해 별도로 머리 자세를 계산한 후, 유도된 회전 벡터와 이동 벡터를 비교한다.
• 두 자세 추정 간의 차이를 특징 벡터로 계산하며, 이는 회전 행렬 차이(R_a - R_c)와 이동 벡터 차이(t_a - t_c)를 포함한다.
• 특징 벡터의 안정성을 높이기 위해 평균을 빼고 표준편차로 나누어 표준화한다.
• 그리드 서치와 5중 교차검증을 사용하여 RBF 커널을 가진 SVM 분류기를 특징 벡터에 대해 훈련시킨다.
• UADFV 및 DARPA GAN 챌린지 데이터셋의 진짜 이미지 및 딥페이크 영상 프레임에서 AUROC를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 중심 얼굴 영역과 전체 얼굴 간의 머리 자세 추정 불일치는 딥페이크 조작을 드러내는가?
• RQ2 3차원 머리 자세 추정의 기하학적 불일치는 딥페이크 생성 아티팩트와 어떻게 관련이 있는가?
• RQ3 회전 벡터, 회전 행렬, 또는 이동 벡터 차이 중 어떤 특징 표현이 딥페이크 탐지에 있어 자세 불일치를 가장 잘 포착하는가?
• RQ4 UADFV 및 DARPA GAN 챌린지와 같은 다양한 딥페이크 데이터셋에서 자세 기반 탐지 방법의 성능는 어떻게 비교되는가?
• RQ5 회전 및 이동 차이 특징을 조합하면 탐지 정확도가 향상되는가?

주요 결과

• 이 방법은 UADFV 데이터셋에서 AUROC 0.89를 달성하여 자세 불일치를 탐지 신호로 사용할 경우 뛰어난 성능을 보였다.
• DARPA GAN 챌린지 데이터셋에서는 AUROC 0.843를 기록했으며, 성능 저하의 원인은 뿌연 합성 얼굴로 인한 지표점 검출의 영향을 받았다고 분석되었다.
• 회전 행렬 차이(R_a - R_c)와 이동 벡터 차이(t_a - t_c)의 조합이 최고의 AUROC를 기록했으며, 이는 영상 프레임 수준 분석에서 0.890, 영상 수준 분석에서 0.974였다.
• 제거 실험 결과, 이동 벡터 차이(t_a - t_c)를 포함할 경우 AUROC가 0.866에서 0.890으로 상승하여 성능 향상이 뚜렷하게 나타났다.
• Rodrigues의 회전 벡터(r_a - r_c)를 사용할 경우 AUROC가 0.798로 향상되었으며, 단순화된 머리 자세 방향 벡터만 사용했을 경우 0.738에 그쳤다.
• 영상 수준 분류가 영상 프레임 수준 분류를 뛰어넘었으며, R_a - R_c와 t_a - t_c를 조합했을 때 AUROC가 0.974에 도달하여 시간적 일관성이 탐지 성능을 향상시킨다는 점을 시사했다.