[논문 리뷰] Deep Fake Detection: Survey of Facial Manipulation Detection Solutions

Samay Pashine, Sagar Mandiya외 2명|arXiv (Cornell University)|2021. 06. 23.

Digital Media Forensic Detection참고 문헌 13인용 수 7

한 줄 요약

이 논문은 실시간 및 고정밀도 시나리오에서 딥페이크 영상 탐지에 적합한 최신 딥 네트워크인 MesoNet, ResNet-50, VGG-19, Xception을 평가한다. Xception은 깊이 분리형 합성곱을 통해 정확도에서 다른 모델들을 앞서며, VGG-19는 중간 자원 환경에서 속도와 성능의 최적 균형을 제공한다.

ABSTRACT

Deep Learning as a field has been successfully used to solve a plethora of complex problems, the likes of which we could not have imagined a few decades back. But as many benefits as it brings, there are still ways in which it can be used to bring harm to our society. Deep fakes have been proven to be one such problem, and now more than ever, when any individual can create a fake image or video simply using an application on the smartphone, there need to be some countermeasures, with which we can detect if the image or video is a fake or real and dispose of the problem threatening the trustworthiness of online information. Although the Deep fakes created by neural networks, may seem to be as real as a real image or video, it still leaves behind spatial and temporal traces or signatures after moderation, these signatures while being invisible to a human eye can be detected with the help of a neural network trained to specialize in Deep fake detection. In this paper, we analyze several such states of the art neural networks (MesoNet, ResNet-50, VGG-19, and Xception Net) and compare them against each other, to find an optimal solution for various scenarios like real-time deep fake detection to be deployed in online social media platforms where the classification should be made as fast as possible or for a small news agency where the classification need not be in real-time but requires utmost accuracy.

연구 동기 및 목표

• 딥페이크 영상에서 얼굴 조작를 탐지하는 데 있어 MesoNet, ResNet-50, VGG-19, Xception 네트워크의 성능을 평가하고 비교하는 것.
• 저성능 하드웨어에서 실시간 탐지와 고성능 시스템에서 고정밀도 탐지에 적합한 최적의 모델을 특정하는 것.
• 여러 기준 데이터셋에서 추론 시간, 정확도, 손실, 하드웨어 요구 사항을 기반으로 모델 효율성을 평가하는 것.
• 뉴스 기관, 소셜 미디어 플랫폼, 정부 기관이 미디어 포렌식에 모델 선택에 실질적인 권고를 제공하는 것.

제안 방법

• Kaggle 경진대회에서 제공한 Celeb-DF, Celeb-DF-v2, DFDC의 세 가지 공개 데이터셋에서 MesoNet, ResNet-50, VGG-19, Xception 네트워크를 훈련 및 평가하였다.
• 모델 간 공정한 비교를 위해 교차 엔트로피 손실과 Adam 옵timizer를 사용한 표준 딥 러닝 훈련 프로토콜을 적용하였다.
• 제한된 훈련 데이터에서 일반화 능력을 향상시키기 위해 데이터 증강 및 전이 학습 기법을 활용하였다.
• 속도와 정밀도 간의 상호 교환 관계를 평가하기 위해 정확도, 손실, 추론 시간, 모델 복잡도를 측정하였다.
• Xception 및 ResNet-50와 같은 복잡한 모델의 추론 시간을 줄이기 위해 TensorRT 최적화를 적용하였다.
• 주의 메커니즘과 특징 맵을 활용해 딥페이크의 공간적 및 시간적 잔여물을 분석함으로써 탐지 민감도를 향상시켰다.

실험 결과

연구 질문

• RQ1 Celeb-DF, Celeb-DF-v2, DFDC와 같은 다양한 딥페이크 데이터셋에서 가장 높은 탐지 정확도를 달성하는 딥 러닝 아키텍처는 무엇인가?
• RQ2 실제 배포 환경에서 MesoNet, ResNet-50, VGG-19, Xception의 추론 시간과 모델 복잡도는 어떻게 변화하는가?
• RQ3 저성능 시스템과 고성능 시스템 간의 딥페이크 탐지에서 정확도와 하드웨어 요구 사항 간의 상호 교환 관계는 어떠한가?
• RQ4 주의 기반 수정 사항은 도전적인 딥페이크 샘플에서 표준 아키텍처 대비 탐지 성능 향상에 기여하는가?
• RQ5 소셜 미디어 플랫폼이나 뉴스룸에서의 배포에 있어 속도, 정확도, 자원 효율성의 최적 균형을 제공하는 모델은 무엇인가?

주요 결과

• Xception은 깊이 분리형 합성곱 아키텍처 덕분에 세 가지 데이터셋 전반에서 가장 높은 탐지 정확도를 기록하였다.
• ResNet-50와 VGG-19는 유사한 정확도와 손실 수준을 보였지만, ResNet-50의 더 깊은 아키텍처 덕분에 복잡하고 정교하게 제작된 딥페이크를 더 잘 탐지할 수 있었다.
• MesoNet는 얕은 아키텍처로 인해 복잡한 딥페이크에서 성능이 제한적이었으며, 엄격한 추론 시간 제약이 있는 저성능 하드웨어에만 적합하였다.
• VGG-19는 높은 추론 속도와 정확도를 동시에 확보하여 ResNet-50 및 Xception과 같은 무거운 모델 대비 하드웨어 효율성이 뛰어났다.
• Xception는 훈련 및 추론 시간이 상당히 길었고 고성능 하드웨어가 필요했지만, 성능 우수성 덕분에 정확도가 중요한 응용 분야에서는 타당한 선택이었다.
• TensorRT 최적화로 인해 Xception 및 ResNet-50의 추론 시간이 크게 단축되어 최적화된 환경에서 실시간 배포에 더 유용해졌다.