[논문 리뷰] Learning to Recognize Patch-Wise Consistency for Deepfake Detection.

Tianchen Zhao, Xiang Xu외 4명|arXiv (Cornell University)|2020. 12. 16.

Digital Media Forensic Detection참고 문헌 36인용 수 10

한 줄 요약

이 논문은 얼굴 변조에서 발생하는 고유한 패치 단위의 소스 일관성 특성을 활용하는 새로운 표현 학습 방법인 패치 단위 일관성 학습(Patch-wise Consistency Learning, PCL)을 제안한다. 인코어된 불일치 데이터를 이용해 훈련하는 불일치 이미지 생성기(Inconsistency Image Generator, I2G)를 통해 PCL는 기존 방법보다 평균적으로 내부 데이터셋 평가에서 2%, 교차 데이터셋 평가에서 8% 높은 AUC 성능을 달성하여 최신 기술 수준(SOTA)을 확립한다.

ABSTRACT

We propose to detect Deepfake generated by face manipulation based on one of their fundamental features: images are blended by patches from multiple sources, carrying distinct and persistent source features. In particular, we propose a novel representation learning approach for this task, called patch-wise consistency learning (PCL). It learns by measuring the consistency of image source features, resulting to representation with good interpretability and robustness to multiple forgery methods. We develop an inconsistency image generator (I2G) to generate training data for PCL and boost its robustness. We evaluate our approach on seven popular Deepfake detection datasets. Our model achieves superior detection accuracy and generalizes well to unseen generation methods. On average, our model outperforms the state-of-the-art in terms of AUC by 2% and 8% in the in- and cross-dataset evaluation, respectively.

연구 동기 및 목표

• 면밀한 얼굴 변조 기반 딥페이크 탐지 문제를 해결하기 위해, 여러 소스에서 온 패치를 혼합하는 경우가 많은 변조 기법에 대응하고자 한다.
• 이러한 패치 내에서 지속적인 소스 특징을 포착하고 활용할 수 있는 표현 학습 방법을 개발하고자 한다.
• 합성 훈련 데이터 생성을 통해 다양한 위조 기법에 대한 모델의 강인성을 향상시키고자 한다.
• 훈련 분포를 초월한 새로운 생성 기법에 대한 일반화 능력을 향상시키고자 한다.
• 해석 가능하고 일관된 표현을 유지하면서도 뛰어난 탐지 정확도를 달성하고자 한다.

제안 방법

• 패치 간 소스 특징의 일관성을 측정하는 표현 학습 프레임워크인 패치 단위 일관성 학습(Patch-wise Consistency Learning, PCL)을 제안한다.
• 실제 이미지에 인위적인 불일치를 도입하여 딥페이크 아티팩트를 시뮬레이션하는 불일치 이미지 생성기(Inconsistency Image Generator, I2G)를 도입한다.
• 패치 수준의 소스 불일치를 식별하고 학습함으로써 다양한 변조 기법에 대한 강인성을 향상시킨다.
• 대비 학습 원리를 활용하여 일관된 패치의 특징는 정렬하고 불일치한 패치의 특징는 분리시킨다.
• 이미지 패치 내에 내재된 구조적 및 텍스처 패턴을 활용하여 인간의 눈으로는 보이지 않는 미세한 변조를 탐지한다.
• 인간 레이블이 필요한 위조 태그 없이도 가능한 자기지도 학습 전략을 활용하여 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 소스 특징의 패치 단위 일관성은 딥페이크 변조를 탐지하는 신뢰할 수 있는 신호가 될 수 있는가?
• RQ2 자기지도 방식으로 패치 수준의 소스 일관성을 효과적으로 학습하고 활용할 수 있는가?
• RQ3 합성 불일치 데이터는 새로운 딥페이크 생성 기법에 대한 모델 일반화 능력을 향상시킬 수 있는가?
• RQ4 제안된 방법은 내부 및 교차 데이터셋 평가 모두에서 기존 최신 기술 수준 기법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 강력한 탐지 성능를 유지하면서도 높은 해석 가능성은 유지되는가?

주요 결과

• 제안된 PCL 모델은 내부 데이터셋 평가에서 최신 기술 수준 기법보다 평균적으로 2% 높은 AUC 성능을 기록한다.
• 교차 데이터셋 평가에서, 기존 방법보다 평균적으로 8% 높은 AUC 성능을 기록하여 강력한 일반화 능력을 입증한다.
• 불일치 이미지 생성기(Inconsistency Image Generator, I2G)의 사용은 모델의 다양한 위조 기법에 대한 강인성을 크게 향상시킨다.
• 학습된 표현은 명시적으로 패치 간 소스 일관성을 모델링하므로 해석 가능하고 강인하다.
• 모델는 새로운 생성 기법에 대해서도 잘 일반화되어 있어 다양한 딥페이크 파이프라인 간 전이 능력이 뛰어나다.
• 일곱 개의 벤치마크 딥페이크 탐지 데이터셋에서 모두 최신 기술 수준의 성능을 달성한다.