[논문 리뷰] A Note on Deepfake Detection with Low-Resources

Piotr Kawa, Piotr Syga|arXiv (Cornell University)|2020. 06. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 7

한 줄 요약

이 논문은 자원이 제한된 환경을 위한 경량 딥패이크 검출 방법을 제안하며, 개선된 활성화 함수—특히 새로운 Pish 함수—를 도입하여 MesoNet을 향상시키고, BRISK 특징을 사용하는 국소적 특징 서술자(LFD) 기반 접근법을 제안한다. LFD 방법은 Equal Error Rate(EER)가 0.2836이며 정확도 72.79%와 재현율 70.12%를 기록했고, Pish는 MesoNet의 정확도를 0.8689로 끌어올려 고도로 일관된 성능을 보이며 소비자 기기에서 CPU 기반으로 효율적인 검출을 가능하게 한다.

ABSTRACT

Deepfakes are videos that include changes, quite often substituting face of a portrayed individual with a different face using neural networks. Even though the technology gained its popularity as a carrier of jokes and parodies it raises a serious threat to ones security - via biometric impersonation or besmearing. In this paper we present two methods that allow detecting Deepfakes for a user without significant computational power. In particular, we enhance MesoNet by replacing the original activation functions allowing a nearly 1% improvement as well as increasing the consistency of the results. Moreover, we introduced and verified a new activation function - Pish that at the cost of slight time overhead allows even higher consistency. Additionally, we present a preliminary results of Deepfake detection method based on Local Feature Descriptors (LFD), that allows setting up the system even faster and without resorting to GPU computation. Our method achieved Equal Error Rate of 0.28, with both accuracy and recall exceeding 0.7.

연구 동기 및 목표

• 소비자용 CPU 및 GPU와 같은 저성능 컴퓨팅 자원에서 효율적으로 작동하는 딥패이크 검출 방법을 개발하는 것.
• 새로운 활성화 함수인 Pish를 포함한 대체 활성화 함수를 통해 MesoNet 아키텍처의 성능과 일관성을 향상시키는 것.
• 딥 신경망에 의존하지 않고 국소적 특징 서술자(LFD), 특히 BRISK와 ORB를 활용한 딥패이크 검출의 탐색 및 검증.
• 고정확도와 높은 강건성을 유지하면서도 추론 및 학습 시간을 단축시키는 것.
• 비즈니스적 명성 훼손이나 생체정보 위조와 같은 상황에서 개인이 비디오 진위성을 독립적으로 검증할 수 있는 실용적이고 접근 가능한 솔루션을 제공하는 것.

제안 방법

• ReLU와 LeakyReLU를 대체 활성화 함수로 교체하여 MesoNet의 성능을 향상시키고, 검출 정확도와 일관성을 높임.
• 최소한의 계산 오버헤드로 모델 성능을 향상시키기 위해 설계된 새로운 활성화 함수인 Pish를 제안.
• BRISK 및 ORB 키포인트 서술자에 기반한 국소적 특징 서술자(LFD) 기반 검출 파이프라인을 개발하며, 좌표와 각도에 중점을 두어 128차원 특징 벡터를 구성.
• 각 프레임을 16개의 동일한 4×4 공간 빈으로 나누고, 각 빈에 대해 키포인트 각도 기반 8-bin 히스토그램을 생성하여 총 128차원 벡터로 집계.
• FaceForensics++ 데이터셋에서 성능 평가를 위해 하이퍼파rameter 튜닝 없이 LFD 벡터에 대해 서포트 벡터 머신(SVM) 분류기 학습.
• MesoNet(GPU 가속)과 LFD 방법(CPU 전용) 간의 학습 및 추론 시간을 비교하며, 특징 추출 및 분류 시간을 측정.

실험 결과

연구 질문

• RQ1 대체 활성화 함수가 딥패이크 검출에서 MesoNet 아키텍처의 정확도와 일관성에 향상 효과를 줄 수 있는가?
• RQ2 제안된 Pish 활성화 함수가 표준 ReLU 및 LeakyReLU보다 검출 성능과 안정성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 BRISK 및 ORB와 같은 국소적 특징 서술자로 딥 신경망 없이도 경쟁 가능한 딥패이크 검출 성능를 달성할 수 있는가?
• RQ4 특히 CPU 전용 환경에서 LFD 기반 방법의 추론 및 학습 시간이 MesoNet과 비교해 어떻게 되는가?
• RQ5 경량이며 CPU 기반의 딥패이크 검출 시스템이 비전문가 사용자를 위한 실용적 사용에 충분한 정확도와 낮은 EER를 달성할 수 있는가?

주요 결과

• Pish 활성화 함수는 MesoNet의 테스트 정확도를 0.8689로 향상시켜 기준 ReLU+LeakyReLU 조합(0.8676)을 초월하고 최신 기술 수준 모델에 가까워졌다.
• BRISK 서술자를 사용한 LFD 기반 방법은 FaceForensics++ 데이터셋에서 Equal Error Rate(EER) 0.2836, 정확도 72.79%, 재현율 70.12%를 기록했다.
• BRISK 기반 LFD 방법은 SURF(EER 0.3917) 대비 0.09, SIFT(EER 0.3395) 대비 0.04의 EER 감소를 기록하여 시험한 서술자 중 가장 뛰어난 성능을 보였다.
• LFD 모델을 CPU에서 학습하는 데는 단 3.5분이 소요되었으며, 소비자용 GPU에서 MesoNet 학습의 30분 대비 크게 단축되어 저자원 배포에 효율적임을 입증했다.
• LFD 방법의 추론 시간은 1프레임당 0.076초로 MesoNet의 0.034초보다 略로 높았는데, 주로 특징 추출 오버헤드(총 시간의 98%)로 인한 것임.
• ORB를 사용한 LFD 접근법은 정확도 70.59%, BRISK를 사용한 경우 72.79%를 기록하여 서술자 선택이 검출 성능에 상당한 영향을 미친다는 점을 입증했다.