[논문 리뷰] Identifying Invariant Texture Violation for Robust Deepfake Detection

Xinwei Sun, Botong Wu외 1명|arXiv (Cornell University)|2020. 12. 19.

Digital Media Forensic Detection참고 문헌 35인용 수 9

한 줄 요약

이 논문은 고해상도 디지털 가짜 영상을 탐지하기 위한 강건한 딥페이크 검출 프레임워크인 InTeLe를 제안한다. InTeLe는 얼굴 교체로 인한 미세한 얼굴 텍스처의 일관성 없는 변화(즉, 텍스처 위반)를 유일한 신호로 식별하여 고해상도 딥페이크를 탐지한다. 분리된 오토인코더와 레이블에 따라 달라지는 디코더, 그리고 의미 분류기(semantic classifier)를 활용함으로써 InTeLe는 잡음 요소의 영향을 분리하고, 내재된 텍스처 위반 신호를 고립시켜 Celeb-DF에서 최고 성능(AUC 73.8%)을 달성하고, FaceForensics++에서 86.4%의 정확도를 기록한다.

ABSTRACT

Existing deepfake detection methods have reported promising in-distribution results, by accessing published large-scale dataset. However, due to the non-smooth synthesis method, the fake samples in this dataset may expose obvious artifacts (e.g., stark visual contrast, non-smooth boundary), which were heavily relied on by most of the frame-level detection methods above. As these artifacts do not come up in real media forgeries, the above methods can suffer from a large degradation when applied to fake images that close to reality. To improve the robustness for high-realism fake data, we propose the Invariant Texture Learning (InTeLe) framework, which only accesses the published dataset with low visual quality. Our method is based on the prior that the microscopic facial texture of the source face is inevitably violated by the texture transferred from the target person, which can hence be regarded as the invariant characterization shared among all fake images. To learn such an invariance for deepfake detection, our InTeLe introduces an auto-encoder framework with different decoders for pristine and fake images, which are further appended with a shallow classifier in order to separate out the obvious artifact-effect. Equipped with such a separation, the extracted embedding by encoder can capture the texture violation in fake images, followed by the classifier for the final pristine/fake prediction. As a theoretical guarantee, we prove the identifiability of such an invariance texture violation, i.e., to be precisely inferred from observational data. The effectiveness and utility of our method are demonstrated by promising generalization ability from low-quality images with obvious artifacts to fake images with high realism.

연구 동기 및 목표

• 고해상도 위조 영상에서 눈에 띄는 잡음이 없는 경우에도 잡음 기반 딥페이크 검출기의 일반화 실패 문제를 해결하기 위해.
• 모든 얼굴 교체 영상에 공통적으로 존재하는 유일한 고정된 텍스처 위반 신호를 식별하기 위해.
• 이러한 고정된 텍스처 위반 신호를 잡음 요소로부터 분리하는 검출 프레임워크를 개발하여 현실적인 위조 영상에 대한 강건성을 향상시키기 위해.
• 관측 데이터로부터 텍스처 위반 신호의 식별 가능성을 이론적으로 정당화하여 신뢰할 수 있는 탐지 보장하기 위해.
• 저품질 학습 데이터에서 고해상도 테스트 데이터(실제 위조 영상 포함)로의 뛰어난 일반화 성능을 입증하기 위해.

제안 방법

• 순수한 이미지와 위조 이미지 각각에 대응하는 두 개의 별도 디코더를 갖춘 오토인코더 프레임워크를 제안하여, 잡음 영향을 분리한다.
• 위조 이미지 디코더가 얕은 의미 분류기($f_{\mathrm{SC}}$)에 의해 정규화되는 레이블 기반 디코더 구조를 도입하여, 잡음과 관련된 패턴을 분리한다.
• 잠재 공간에서 의미 일관성을 강제하기 위해 트리플릿 손실을 사용하여, 인코더가 잡음과 무관한 고정된 텍스처 특징을 캡처하도록 한다.
• 인코더가 순수한 이미지 및 위조 이미지 브랜치 양쪽에서 복원 오차를 최소화하도록 함으로써, 텍스처 위반 신호를 추출하도록 분리된 학습 목표를 설정한다.
• 복원 손실, 트리플릿 손실, 분류기 손실을 조합한 다중 손실 최적화를 통해 인코더와 디코더를 동시에 학습한다.
• 최종 분류기는 잡음 영향이 제거된 잠재 표현 $Z$를 기반으로 작동하므로, 강건한 탐지가 가능하다.

실험 결과

연구 질문

• RQ1 얼굴 교체로 인한 고정된 텍스처 위반은 딥페이크 탐지의 유일한 신호로 신뢰성 있게 식별될 수 있는가?
• RQ2 분리된 오토인코더 프레임워크는 위조 영상 내에서 잡음 유발 패턴과 내재된 텍스처 위반을 효과적으로 분리할 수 있는가?
• RQ3 텍스처 위반을 고립시키면 눈에 띄는 잡음이 없는 고해상도 딥페이크에 대한 일반화 성능이 향상되는가?
• RQ4 실제 가정 조건 하에서 관측 데이터로부터 고정된 텍스처 위반 신호를 식별할 수 있는가?
• RQ5 제안된 방법은 고해상도 테스트 세트를 포함한 벤치마크에서 잡음 기반 기준 모델을 능가하는가?

주요 결과

• InTeLe는 Celeb-DF 벤치마크에서 EfficientNet-B5 및 XceptionNet 백본을 모두 사용할 때, LGSC 및 CE (X→Y)를 포함한 모든 기준 모델을 능가하는 AUC 73.8% ± 1.1을 기록한다.
• FaceForensics++ 벤치마크에서 InTeLe는 86.4%의 정확도를 달성하여 이전 최고 성능 모델인 LGSC(84.8%)와 코드가 공개된 모든 다른 방법을 뛰어넘었다.
• 제거 실험 결과, 의미 분류기 $f_{\mathrm{SC}}$를 제거하면 성능이 저하됨을 확인하여, 이 분류기가 잡음 분리에 핵심적인 역할을 함을 검증한다.
• 그림 5의 시각화 결과, $f_1$ 디코더(위조 브랜치)는 순수한 이미지에서도 잡음(예: 색상 불일치, 대비 이상)을 재구성하는 반면, $f_0$(순수 브랜치)는 그러한 현상을 보이지 않는다.
• 저품질 학습 데이터(FaceForensics++)에서 고해상도 테스트 데이터(Celeb-DF)로의 일반화 성능이 뛰어나, 합성 품질의 변동에 강건함을 입증한다.
• 이론적 식별 가능성 증명을 통해 고정된 텍스처 위반 신호가 관측 데이터로부터 정확히 추론될 수 있음을 보장하여, 방법의 신뢰성에 기여한다.