[논문 리뷰] Investigating the Impact of Pre-processing and Prediction Aggregation on the DeepFake Detection Task

Polychronis Charitidis, Giorgos Kordopatis-Zilos외 2명|arXiv (Cornell University)|2020. 06. 12.

Face recognition and analysis인용 수 16

한 줄 요약

이 논문은 딥페이크 탐지 성능을 햖을 위해 가짜 얼굴 검출을 필터링하는 새로운 사전 처리 파이프라인과 다중 얼굴 영상에서의 성능 향상을 위한 영상 수준 예측 집계 방법을 제안한다. 이 방법은 기준 데이터셋에서 정확도를 최대 2.2% 향상시키며, 향상된 훈련 데이터 품질과 강력한 집계 전략을 통해 뚜렷한 성과를 보여준다.

ABSTRACT

Recent advances in content generation technologies (widely known as DeepFakes) along with the online proliferation of manipulated media content render the detection of such manipulations a task of increasing importance. Even though there are many DeepFake detection methods, only a few focus on the impact of dataset preprocessing and the aggregation of frame-level to video-level prediction on model performance. In this paper, we propose a pre-processing step to improve the training data quality and examine its effect on the performance of DeepFake detection. We also propose and evaluate the effect of video-level prediction aggregation approaches. Experimental results show that the proposed pre-processing approach leads to considerable improvements in the performance of detection models, and the proposed prediction aggregation scheme further boosts the detection efficiency in cases where there are multiple faces in a video.

연구 동기 및 목표

• 데이터셋 사전 처리가 딥페이크 탐지 성능에 미치는 영향이 아직 충분히 탐색되지 않은 영향을 다루기 위해.
• 검출 후 처리 단계에서 유사도 기반 및 연결 성분 분석을 활용해 가짜 얼굴 검출을 줄임으로써 훈련 데이터 품질을 향상시키기 위해.
• 다중 얼굴 영상에서 특히 효과적인 탐지 정확도 향상을 위해 영상 수준의 예측 집계 전략을 개발하고 평가하기 위해.
• 다양한 변조 유형과 데이터셋 간 딥페이크 탐지기의 일반화 한계를 조사하기 위해.
• 저널리스트와 시민들이 사용할 수 있도록 파이프라인을 오픈소스 검증 도구에 통합하여 실생활 적용을 지원하기 위해.

제안 방법

• 얼굴 검출 이후 사전 처리 단계를 적용하며, 얼굴 유사도와 연결 성분 분석을 사용해 가짜 검출을 필터링한다.
• 특징 임bedding를 사용해 검출된 얼굴 간의 쌍별 유사도를 계산하고, 유사한 얼굴을 성분으로 그룹화한다.
• 낮은 유사도 또는 최소 크기 기준 이하인 성분은 기각함으로써 가짜 검출을 제거한다.
• 성분 신뢰도를 기반으로 가중 투표 메커니즘을 사용해 프레임 수준의 예측을 영상 수준의 예측으로 집계한다.
• EfficientNet-B4 및 기타 아키텍처를 사용해 세 가지 기준 데이터셋(Celeb-DF, FaceForensics++, DFDC)에서 평가한다.
• 유사도 임계값(0.7–0.9) 및 최소 성분 크기(NF/4에서 3NF/4까지)와 같은 하이퍼파라미터를 체계적으로 튜닝한다.

실험 결과

연구 질문

• RQ1 얼굴 유사도 및 성분 분석 기반 사전 처리가 딥페이크 탐지 성능에 어떤 영향을 미치는가?
• RQ2 효과적인 가짜 검출 필터링을 위해 최적의 유사도 및 크기 임계값 조합은 무엇인가?
• RQ3 영상 수준의 예측 집계 전략은 프레임 수준의 평균화나 최대 풀링 대비 정확도 향상에 어떻게 기여하는가?
• RQ4 제안된 파이프라인이 다양한 딥페이크 변조 유형과 데이터셋 간에 얼마나 일반화되는가?
• RQ5 사전 처리 및 집계 파이프라인이 실생활 검증 워크플로우에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 사전 처리 방법은 가짜 얼굴 검출을 줄여 FaceForensics++ 데이터셋에서 로그 손실이 1.6% 향상되었다.
• DFDC 테스트 세트에서 이 방법은 로그 손실이 2.2% 향상되어 뚜렷한 성능 향상을 보였다.
• Celeb-DF 데이터셋에서는 최적의 임계값 설정으로 1.6%의 향상이 있었으며, 0.9의 유사도 임계값이 가장 우수한 성능을 보였다.
• NF/4의 성분 크기 기준은 성능을 유지하지만, 이를 3NF/4로 높이면 과도하게 유효 성분을 제거함으로써 성능이 저하되었다.
• 예측 집계 방식은 특히 다중 얼굴 영상에서 신뢰도 가중 투표를 활용해 기준 집계 방법보다 뛰어난 성능을 보였다.
• 연구 결과, 새로운 변조 유형에 대한 일반화 능력은 제한적이며, 더 강력하고 일반화 가능한 탐지 모델 개발이 필요함을 시사했다.