[논문 리뷰] A Face Preprocessing Approach for Improved DeepFake Detection

Polychronis Charitidis, Giorgos Kordopatis-Zilos외 2명|arXiv (Cornell University)|2020. 06. 12.

Face recognition and analysis참고 문헌 32인용 수 6

한 줄 요약

이 논문은 딥페이크 탐지 모델의 성능을 향상시키기 위해 훈련 데이터 품질을 향상시키는 얼굴 전처리 기법을 제안한다. 훈련 전에 얼굴 특징을 정제함으로써, 다양한 모델에서 탐지 정확도 향상이 측정 가능하게 된다.

ABSTRACT

Recent advancements in content generation technologies (also widely known as DeepFakes) along with the online proliferation of manipulated media and disinformation campaigns render the detection of such manipulations a task of increasing importance. There are numerous works related to DeepFake detection but there is little focus on the impact of dataset preprocessing on the detection accuracy of the models. In this paper, we focus on this aspect of the DeepFake detection task and propose a preprocessing step to improve the quality of training datasets for the problem. We also examine its effects on the DeepFake detection performance. Experimental results demonstrate that the proposed preprocessing approach leads to measurable improvements in the performance of detection models.

연구 동기 및 목표

• 데이터셋 전처리가 딥페이크 탐지 성능에 미치는 미비하게 다뤄진 영향을 다루기.
• 대상적인 얼굴 전처리를 통해 딥페이크 탐지 모델의 훈련 데이터 품질을 향상시키기.
• 전처리가 딥페이크 탐지 모델의 일반화 능력과 강건성에 기여하는지 조사하기.
• 다양한 탐지 아키텍처에서 전처리가 일관된 성능 향상을 이끌어내는지 입증하기.

제안 방법

• 훈련 데이터셋의 이미지 품질과 일관성을 향상시키기 위해 얼굴 전처리 기법을 적용하기.
• 얼굴 정렬, 조명, 해상도와 같은 표준화된 얼굴 특징에 집중하여 노이즈와 변동성을 줄이기.
• 데이터를 딥페이크 탐지 모델에 입력하기 이전에 전처리 파이프라인을 통합하기.
• 기존의 표준화된 얼굴 검출 및 정렬 알고리즘을 사용하여 입력 이미지를 표준화하여 모델 훈련을 향상시키기.
• 다양한 최신 딥페이크 탐지 모델에 대한 전처리 영향을 평가하기.
• 공정한 비교를 보장하기 위해 엔드 투 엔드 훈련 및 평가 프로토콜 유지하기.

실험 결과

연구 질문

• RQ1 얼굴 전처리는 딥페이크 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ2 다양한 아키텍처에서 전처리가 탐지 정확도 향상에 얼마나 기여하는가?
• RQ3 전처리는 얼굴 외관 및 이미지 품질의 변동성에 대한 모델의 강건성을 향상시키는가?
• RQ4 전처리는 딥페이크 탐지 과제에서 과적합을 줄이고 일반화 능력을 향상시키는가?

주요 결과

• 제안된 전처리 기법은 딥페이크 탐지 성능 향상에 측정 가능한 기여를 한다.
• 전처리된 데이터셋으로 훈련된 탐지 모델은 원시 데이터로 훈련된 모델보다 더 높은 정확도를 달성한다.
• 성능 향상은 다양한 딥페이크 탐지 아키텍처에서 일관되게 관찰된다.
• 전처리로 인해 훈련 데이터의 노이즈와 변동성이 감소하여 더 안정적이고 일반화 능력이 뛰어난 모델이 된다.