[논문 리뷰] Adversarially robust deepfake media detection using fused convolutional neural network predictions

Sohail Ahmed Khan, Alessandro Artusi외 1명|arXiv (Cornell University)|2021. 02. 11.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 13

한 줄 요약

이 논문은 VGG16, InceptionV3, XceptionNet을 융합한 복합 컨볼루션 신경망(CNN) 앙상블을 제안하여 딥페이크 탐지에서 적대적 공격에 대한 강건성과 일반화 능력을 향상시킨다. 융합 모델은 DFDC 테스트 세트에서 96.5%의 정확도를 달성했고, 저품질의 DeepFake-TIMIT 데이터셋에서는 99%의 정확도를 기록했으며, 공동 예측 투표 덕분에 적대적 공격에 대한 저항력이 향상되었다.

ABSTRACT

Deepfakes are synthetically generated images, videos or audios, which fraudsters use to manipulate legitimate information. Current deepfake detection systems struggle against unseen data. To address this, we employ three different deep Convolutional Neural Network (CNN) models, (1) VGG16, (2) InceptionV3, and (3) XceptionNet to classify fake and real images extracted from videos. We also constructed a fusion of the deep CNN models to improve the robustness and generalisation capability. The proposed technique outperforms state-of-the-art models with 96.5% accuracy, when tested on publicly available DeepFake Detection Challenge (DFDC) test data, comprising of 400 videos. The fusion model achieves 99% accuracy on lower quality DeepFake-TIMIT dataset videos and 91.88% on higher quality DeepFake-TIMIT videos. In addition to this, we prove that prediction fusion is more robust against adversarial attacks. If one model is compromised by an adversarial attack, the prediction fusion does not let it affect the overall classification.

연구 동기 및 목표

• 미리 보지 못한 데이터와 적대적 데이터에 취약한 딥페이크 탐지 모델의 취약점을 해결한다.
• 단일 모델의 한계를 넘어서 딥페이크 탐지 시스템의 일반화 능력과 강건성을 향상시킨다.
• 탐지 성능을 향상시키면서도 적대적 편향에 대한 저항력을 유지하는 융합 전략을 개발한다.
• DFDC 및 DeepFake-TIMIT를 포함한 다양한 벤치마크 데이터셋에서, 다양한 영상 품질 조건 하에 제안된 방법을 평가한다.

제안 방법

• 비디오에서 추출한 딥페이크 및 실제 이미지 프레임을 대상으로 사전 학습된 CNN 아키텍처인 VGG16, InceptionV3, XceptionNet을 학습시켰다.
• 세 모델의 최종 분류 예측을 가중 평균 또는 투표 기반 융합 방식으로 조합하여 결정의 강건성을 향상시켰다.
• 특징 수준 및 예측 수준의 융합을 적용하여 모델 출력을 통합함으로써 특정 모델의 예측에 대한 의존도를 감소시켰다.
• 적대적 훈련을 적용하고 개별 모델에 대상 공격을 시뮬레이션하여 시스템 수준의 강건성을 평가했다.
• 일찍 정지(early stopping)와 데이터 증강을 훈련 중에 활용하여 다양한 딥페이크 생성 기법에 걸쳐 일반화 능력을 향상시켰다.
• DFDC 및 DeepFake-TIMIT 벤치마크를 포함한 여러 데이터셋에서 영상 품질 조건이 다양할 때도 융합 성능을 평가했다.

실험 결과

연구 질문

• RQ1 다양한 딥 컨볼루션 신경망의 앙상블 융합이 새로운 딥페이크 데이터에 대한 탐지 정확도와 강건성을 향상시킬 수 있는가?
• RQ2 개별 모델 대비 예측 수준 융합이 적대적 공격에 대해 얼마나 더 강건한가?
• RQ3 DeepFake-TIMIT와 같은 저품질 및 고품질 딥페이크 데이터셋에서 융합 모델의 성능은 어떠한가?
• RQ4 융합 접근법은 모델 전용 적대적 편향에 민감도를 줄이며 높은 정확도를 유지하는가?
• RQ5 일반화 능력과 강건성 측면에서 상태 기준 단일 모델 딥페이크 탐지기와 비교해 복합 방법은 어떻게 성능을 내는가?

주요 결과

• 융합된 CNN 모델은 공개된 DFDC 테스트 세트에서 96.5%의 정확도를 기록하여 최신 기술을 초월했다.
• 저품질의 DeepFake-TIMIT 데이터셋에서는 융합 모델이 99%의 정확도를 달성하여 열악한 입력 조건에서도 뛰어난 성능을 보였다.
• 고품질의 DeepFake-TIMIT 영상에서는 모델이 91.88%의 정확도를 기록하여 품질 수준에 관계없이 일관된 성능을 유지함을 확인했다.
• 예측 융합이 적대적 공격에 대한 강건성을 크게 향상시켰으며, 한 모델이 손상되더라도 전체 분류 성능이 저하되지 않았다.
• 앙상블 접근법은 모델 전용 취약점을 줄였고, 공동 결정을 통해 적대적 조건에서도 신뢰도가 향상됨을 보여주었다.
• 개별 모델이 대상 적대적 편향에 노출되어도 융합 메커니즘은 높은 정확도를 유지했으며, 이는 그들의 강건성을 확인시켰다.