[논문 리뷰] Deepfake Detection Analyzing Hybrid Dataset Utilizing CNN and SVM

Jacob mallet, Laura Pryor외 2명|arXiv (Cornell University)|2023. 01. 27.

Digital Media Forensic Detection인용 수 6

한 줄 요약

이 논문은 다양한 다중 소스 데이터셋에서 정확도를 햖스키기 위해 컨볼루션 신경망(CNN)과 서포트 벡터 머신(SVM)을 조합한 하이브리드 딥페이크 검출 모델을 제안한다. 이 방법은 CNN을 통해 특징을 추출하고 SVM을 통해 분류함으로써, 다양한 잡음과 저해상도 입력이 존재하는 도전적인 실생활 환경에서도 변조된 얼굴을 높은 성능으로 식별하는 데 성공한다.

ABSTRACT

Social media is currently being used by many individuals online as a major source of information. However, not all information shared online is true, even photos and videos can be doctored. Deepfakes have recently risen with the rise of technological advancement and have allowed nefarious online users to replace one face with a computer generated face of anyone they would like, including important political and cultural figures. Deepfakes are now a tool to be able to spread mass misinformation. There is now an immense need to create models that are able to detect deepfakes and keep them from being spread as seemingly real images or videos. In this paper, we propose a new deepfake detection schema using two popular machine learning algorithms.

연구 동기 및 목표

• 소셜 미디어에서 증가하는 딥페이크의 위협을 해결하기 위해 견고한 검출 시스템을 개발하기 위해.
• 다양한 잡음과 저해상도 입력을 포함한 다양한 실생활 딥페이크 데이터셋에서의 검출 성능을 향상시키기 위해.
• CNN의 특징 추출 능력과 SVM의 분류 견고성을 조합하여 검출 정확도를 향상시키기 위해.
• 다양한 출처에서 수집한 복합 데이터셋을 바탕으로 하이브리드 기계학습 접근법의 효과를 평가하기 위해.

제안 방법

• 모델은 딥페이크 영상의 얼굴 이미지에서 공간적 특징을 추출하기 위해 사전 훈련된 CNN 아키텍처를 사용한다.
• CNN에서 추출된 특징는 실수와 가짜 샘플을 이진 분류하기 위해 서포트 벡터 머신(SVM)에 입력된다.
• 데이터셋은 다양한 현실성을 확보하기 위해 FaceForensics++, Celeb-DF, DFDC 등의 다수의 공개 출처에서 수집된 하이브리드 컬렉션이다.
• 모델의 일반화 능력 향상과 과적합 방지를 위해 데이터 증강 및 정규화 기법이 적용된다.
• 모델의 견고성과 신뢰할 수 있는 성능 추정을 확보하기 위해 k-폴드 교차 검증을 사용하여 훈련 및 검증이 수행된다.
• 최대 검출 정확도를 달성하기 위해 SVM의 하이퍼파ram터 튜닝이 수행된다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-SVM 모델은 다양한 데이터셋에서 단독 모델보다 딥페이크 검출 성능이 뛰어나게 되는가?
• RQ2 다양한 수준의 변조 품질과 잡음이 존재하는 실생활 딥페이크 샘플에서 모델의 성능은 어떠한가?
• RQ3 데이터셋의 다양성이 검출 시스템의 일반화 능력과 견고성 향상에 어느 정도 기여하는가?
• RQ4 CNN을 통한 특징 추출이 SVM의 최종 분류 정확도에 미치는 영향은 어떠한가?
• RQ5 F1-score와 AUC-ROC 측면에서 이 모델은 최신 기술 수준의 딥페이크 검출 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 하이브리드 CNN-SVM 모델은 통합된 하이브리드 데이터셋에서 F1-score 0.94와 AUC-ROC 0.96를 기록하여 뛰어난 검출 성능를 보였다.
• 기본 모델 대비 저품질 및 잡음이 많은 샘플에서 뛰어난 일반화 능력을 보였다.
• CNN을 통한 특징 추출은 특히 미세한 변조 징후를 식별하는 데 있어 SVM 분류기의 구분 능력을 크게 향상시켰다.
• 다중 소스 데이터셋의 사용은 모델의 견고성을 높였으며 특정 딥페이크 생성 기법에 대한 과적합을 줄였다.
• 하이브리드 데이터셋의 모든 테스트 서브셋에서 높은 성능를 유지했으며, 덜 흔한 딥페이크 출처의 데이터도 포함되었다.
• 결과적으로 CNN을 통한 특징 학습과 SVM을 통한 분류를 조합하는 것은 실생활 딥페이크 검출에 유망한 접근법임을 시사한다.