[논문 리뷰] Detecting Deepfakes with Self-Blended Images

Kaede Shiohara, Toshihiko Yamasaki|arXiv (Cornell University)|2022. 04. 18.

Digital Media Forensic Detection인용 수 8

한 줄 요약

이 논문은 딥페이크 탐지용 새로운 합성 훈련 데이터 방법인 자기 블렌디드 이미지(SBIs)를 제안한다. 이 방법은 단일 실사 이미지의 약간 변형된 버전을 블렌딩하여 탐지하기 어려운 가짜 샘플을 생성한다. 블렌딩 경계나 색상 불일치와 같은 일반적인 위조 아티팩트를 시뮬레이션함으로써 모델의 일반화 능력을 향상시키며, 교차 데이터셋 평가에서 DFDC 및 DFDCP에서 각각 4.90%, 11.78% 향상되어 최신 기술을 초월한다.

ABSTRACT

In this paper, we present novel synthetic training data called self-blended images (SBIs) to detect deepfakes. SBIs are generated by blending pseudo source and target images from single pristine images, reproducing common forgery artifacts (e.g., blending boundaries and statistical inconsistencies between source and target images). The key idea behind SBIs is that more general and hardly recognizable fake samples encourage classifiers to learn generic and robust representations without overfitting to manipulation-specific artifacts. We compare our approach with state-of-the-art methods on FF++, CDF, DFD, DFDC, DFDCP, and FFIW datasets by following the standard cross-dataset and cross-manipulation protocols. Extensive experiments show that our method improves the model generalization to unknown manipulations and scenes. In particular, on DFDC and DFDCP where existing methods suffer from the domain gap between the training and test sets, our approach outperforms the baseline by 4.90% and 11.78% points in the cross-dataset evaluation, respectively.

연구 동기 및 목표

• 모델이 새로운 위조 기법에 대해 실패하는 교차 데이터셋 및 교차 위조 기법 시나리오에서 딥페이크 탐지의 일반화 문제를 해결하기 위해.
• 기존의 합성 데이터 생성 방법이 서로 다른 두 개의 실사 이미지 쌍에 의존하거나 고압축, 저품질 데이터셋에서 실패하는 한계를 극복하기 위해.
• 비용이 많이 들지 않는 랜드마크 매칭이나 대규모 데이터 처리가 필요 없는, 계산적으로 효율적인 방법을 개발하여 다양한 아티팩트가 풍부한 가짜 샘플을 생성하기 위해.
• 특정 위조 기법에 의존하는 아티팩트가 아닌, 보다 일반적이고 탐지하기 어려운 위조 흔적에 집중함으로써 딥페이크 탐지 모델이 일반적이고 강건한 표현을 학습하도록 하기 위해.

제안 방법

• SBIs는 단일 정제된 이미지에 이미지 변환(예: 색상 왜곡, 선명도 향상, 크기 조정, 이동)을 적용하여 가짜 소스 및 타겟 이미지를 생성함으로써 생성된다.
• 마스크 생성기는 얼굴 랜드마크를 사용하여 다양한 블렌딩 마스크를 생성하고, 이를 통해 소스 및 타겟 이미지를 하나의 SBI로 통합한다.
• 소스-타겟 생성기(STG)와 마스크 생성기(MG)는 별도로 작동하므로, 이전 방법에서 사용하는 계산 비용이 많이 드는 최근접 랜드마크 검색이 필요 없어진다.
• 이 방법은 블렌딩 경계, 랜드마크 불일치, 색상 일관성 결여, 주파수 도메인 이상과 같은 위조 아티팩트를 능동적으로 생성한다.
• 실제 위조 이미지가 필요 없이 SBIs만으로도 딥페이크 탐지 모델을 훈련시킬 수 있으며, 합성 데이터만으로도 엔드 투 엔드 훈련이 가능하다.
• 이 방법은 일반적이고 탐지하기 어려운 아티팩트에 중점을 두어 특정 위조 스타일에 과적합되는 것을 방지함으로써 훈련 효율성을 향상시키고 모델의 강건성을 높인다.

실험 결과

연구 질문

• RQ1 일반적이고 탐지하기 어려운 위조 아티팩트에 중점을 둔 합성 훈련 데이터가 새로운 데이터셋과 위조 유형에 걸쳐 딥페이크 탐지의 일반화 능력을 향상시킬 수 있는가?
• RQ2 서로 다른 실사 이미지를 쌍으로 사용하는 기존 방법과 비교해, 자기 블렌디드 이미지 생성 방법은 어떻게 다른가?
• RQ3 랜드마크 기반 소스 선택이 없는 것이 훈련 효율성과 모델의 강건성에 얼마나 기여하는가?
• RQ4 단일 이미지에서 아티팩트를 생성하는 것이 다수의 실사 이미지를 사용하는 방법보다 더 나은 표현 학습을 이끌어내는가?
• RQ5 SBIs는 FaceSwap, FOMA, Neural Texture Transfer와 같은 새로운 위조 기법에도 일반화될 수 있는가?

주요 결과

• DFDC 데이터셋에서 제안된 방법은 교차 데이터셋 평가에서 최신 기술 기반의 비지도 학습 기반 기준보다 4.90% 높은 성능을 기록했다.
• 더 도전적인 DFDCP 데이터셋에서는 동일한 기준 기반으로 11.78% 향상되어 강력한 도메인 일반화 능력을 입증했다.
• 교차 위조 기법 평가에서 미리 보지 못한 위조 기법들(DF, F2F, FS, NT)에 대해 AUC 점수가 각각 99.99%, 99.88%, 99.91%, 98.79%를 기록했다.
• 전체 FF++ 평가에서 99.64%의 AUC를 기록하여, 훈련 세트에서 모델의 포화 상태임에도 불구하고 이전 최고 기록(99.11%)을 초월했다.
• BI(블렌디드 이미지)와의 공동 훈련은 SBIs 단독 훈련보다 성능이 낮았으며, 이는 SBIs가 일반화에 더 효과적임을 시사한다.
• BI에 소스-타겟 증강을 적용하면 성능 향상이 이루어지지만 여전히 SBIs에 뒤지며, 이는 자기 블렌딩과 이중 증강의 중요성을 확인한다.