[논문 리뷰] Practical Deepfake Detection: Vulnerabilities in Global Contexts

Yang A. Chuming, Daniel J. Wu외 1명|arXiv (Cornell University)|2022. 06. 20.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 저대역폭 환경에서의 실제 세계의 품질 열화를 시뮬레이션하기 위해 비디오 손상 파이프라인을 제안하며, 최신의 딥패이크 탐지 모델이 손상된 비디오에서는 원본 비디오가 진짜일지라도 실패함을 입증한다. 주요 발견은 CRF50 또는 데이터모싱을 적용한 후에 모델이 정상 비디오를 가짜로 확신 있게 분류한다는 점으로, 글로벌 배포 환경에서의 심각한 취약성을 드러낸다.

ABSTRACT

Recent advances in deep learning have enabled realistic digital alterations to videos, known as deepfakes. This technology raises important societal concerns regarding disinformation and authenticity, galvanizing the development of numerous deepfake detection algorithms. At the same time, there are significant differences between training data and in-the-wild video data, which may undermine their practical efficacy. We simulate data corruption techniques and examine the performance of a state-of-the-art deepfake detection algorithm on corrupted variants of the FaceForensics++ dataset. While deepfake detection models are robust against video corruptions that align with training-time augmentations, we find that they remain vulnerable to video corruptions that simulate decreases in video quality. Indeed, in the controversial case of the video of Gabonese President Bongo's new year address, the algorithm, which confidently authenticates the original video, judges highly corrupted variants of the video to be fake. Our work opens up both technical and ethical avenues of exploration into practical deepfake detection in global contexts.

연구 동기 및 목표

• 저대역폭 지역에서 흔히 발생하는 실제 세계의 비디오 품질 열화 조건에서 딥패이크 탐지 모델의 실용적 내구성을 조사하기 위해.
• 비디오 품질 손실을 모의하기 위해 비트레이트 감소, 해상도 축소, CRF 조정, 데이터모싱과 같은 비디오 손상 기법을 시뮬레이션하기 위해.
• FaceForensics++ 데이터셋의 손상된 버전에서 최신 딥패이크 탐지 모델의 성능을 평가하기 위해.
• 기술 인프라가 제한되고 디지털 리터러시가 낮은 지역에서 모델 실패의 윤리적 위험을 탐색하기 위해.
• 가봉 대선 후보자의 연설 영상을 실제 사례로 활용하여, 손상이 진짜 비디오를 가짜로 오분류하게 되는 방식을 설명하기 위해.

제안 방법

• 비디오 품질 열화 기법 5종을 적용하는 비디오 손상 파이프라인을 개발: 비트레이트 감소(1.0 및 0.5 Mbps), 해상도 축소(720p, 480p, 240p), 일정 비율 요소(CRF) 조정(30, 40, 50), 데이터모싱.
• 이 손상 기법들을 FaceForensics++ 데이터셋의 진짜 및 가짜 비디오에 대해 독립적 및 병합 적용.
• 2020년 캐글 딥패이크 탐지 챌린지에서 최고 성능을 낸 모델—7개의 EfficientNet-B7 네트워크 앙상블—을 사용하며, 다른 데이터셋으로 훈련하여 도메인 외 평가를 확보.
• 손상된 비디오에서의 분류 정확도를 통해 모델 성능을 평가하며, 가짜로 정확히 식별된 딥패이크의 비율을 측정.
• 특히 CRF50 및 데이터모싱이 탐지 신뢰도에 미치는 영향을 분리하여 분석하기 위해 분해 연구(ablation study)를 수행.
• 가봉의 대통령 연설 영상을 사례 연구로 활용하여, 동일한 손상 기법을 적용하여 실제 세계의 진짜 비디오에서 모델의 행동을 평가.

실험 결과

연구 질문

• RQ1 낮은 비트레이트, 낮은 해상도, 높은 CRF, 데이터모싱과 같은 일반적인 비디오 품질 열화가 최신 딥패이크 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ2 훈련 시 데이터 증강과 일치하지 않는 비디오 손상이 모델 신뢰성에 얼마나 큰 영향을 미치는가?
• RQ3 실제 세계의 비디오 손상 기법을 적용한 후에 진짜 비디오가 딥패이크 탐지 모델에 의해 가짜로 잘못 분류될 수 있는가?
• RQ4 열악한 인터넷 인프라와 낮은 기술 리터러시를 가진 지역에서 모델 실패가 초래하는 사회정치적 위험은 무엇인가?
• RQ5 비정상적인 손상 기법인 데이터모싱과 고CRF가 모델의 신뢰도와 인간의 인지적 유사성에 어떻게 영향을 미치는가?

주요 결과

• 딥패이크 탐지 모델은 FaceForensics++에서의 손상되지 않은 딥패이크 비디오에서 95.5%의 정확도를 기록하여 강력한 기준 성능을 확인했다.
• 240p로 해상도를 축소하고 CRF50를 적용한 후, 딥패이크 비디오에서의 정확도가 58.6%로 떨어져 품질 열화 조건에서 심각한 실패를 보였다.
• 데이터모싱과 병합된 경우, 손상된 딥패이크 비디오에서의 정확도는 69.0%로 떨어졌으며, 이는 복합적인 손상이 모델의 취약성을 악화시킨다는 것을 시사한다.
• 원래 98.8%의 신뢰도로 진짜로 분류된 가봉 대선 후보자의 연설 영상이 240p + CRF50 손상 후 56.5%의 신뢰도로 가짜로 잘못 분류되었다.
• 고CRF 및 데이터모싱 손상 조건에서 비록 인간은 여전히 의미적으로 이해 가능한 비디오이지만, 모델의 진짜 비디오에 대한 신뢰도는 극적으로 감소했다.
• 표준 데이터 증강과 직접적인 대응이 없는 CRF50 및 데이터모싱과 같은 손상 기법이 가장 심각한 성능 저하를 유도했으며, 이는 모델의 내구성에 심각한 격차가 있음을 시사한다.