[논문 리뷰] Deepfakes Generation and Detection: State-of-the-art, open challenges, countermeasures, and way forward

Momina Masood, Marriam Nawaz외 3명|arXiv (Cornell University)|2021. 02. 25.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)를 중심으로 딥러닝을 활용한 시각적 및 청각적 모odal에서의 최신 딥페이크 생성 및 검출 기법에 대한 종합적인 서베이를 제공한다. 기존 도구, 데이터셋, 평가 기준, 열린 과제 및 대응 조치를 분석하여 합성 미디어 위협을 탐지하고 완화하기 위한 향후 연구의 길잡이를 제시한다.

ABSTRACT

Easy access to audio-visual content on social media, combined with the availability of modern tools such as Tensorflow or Keras, open-source trained models, and economical computing infrastructure, and the rapid evolution of deep-learning (DL) methods, especially Generative Adversarial Networks (GAN), have made it possible to generate deepfakes to disseminate disinformation, revenge porn, financial frauds, hoaxes, and to disrupt government functioning. The existing surveys have mainly focused on the detection of deepfake images and videos. This paper provides a comprehensive review and detailed analysis of existing tools and machine learning (ML) based approaches for deepfake generation and the methodologies used to detect such manipulations for both audio and visual deepfakes. For each category of deepfake, we discuss information related to manipulation approaches, current public datasets, and key standards for the performance evaluation of deepfake detection techniques along with their results. Additionally, we also discuss open challenges and enumerate future directions to guide future researchers on issues that need to be considered to improve the domains of both deepfake generation and detection. This work is expected to assist the readers in understanding the creation and detection mechanisms of deepfakes, along with their current limitations and future direction.

연구 동기 및 목표

• 시각적 및 청각적 모달 전반에 걸쳐 딥페이크 생성 및 검출 방법론에 대한 체계적인 리뷰를 제공하기 위해.
• 딥페이크 검출 연구에서 사용되는 현재의 공개 데이터셋, 평가 기준 및 성능 메트릭을 분석하기 위해.
• 기존 딥페이크 검출 시스템의 열린 과제 및 한계를 특정하기 위해.
• 딥페이크 검출 및 생성 기술 향상에 기여할 수 있는 실천 가능한 향후 연구 방향을 제안하기 위해.
• 연구자 및 실무자들이 합성 미디어의 기술적 및 윤리적 영향을 이해하는 데 지원을 제공하기 위해.

제안 방법

• 생성적 적대적 네트워크(GANs)와 기타 딥러닝 아키텍처에 중점을 두고 기존 딥페이크 생성 기법을 서베이하고 분류하기 위해.
• 시각적 및 청각적 딥페이크에 대한 기계학습 기반 검출 방법을 분석하기 위해, 합성곱 신경망 및 순환 모델을 포함한다.
• FaceForensics++, Celeb-DF, VGGSound와 같은 표준화된 벤치마크 및 공개 데이터셋을 사용하여 성능을 평가하기 위해.
• 다양한 모델과 데이터셋 간의 검출 정확도, F1 점수 및 AUC 값을 비교하여 탄력성 평가하기 위해.
• 검출 모델의 일반적인 약점, 예를 들어 미리 보지 않은 데이터셋에서의 일반화 실패 및 적대적 공격에 대한 취약성 등을 특정하기 위해.
• 데이터, 평가 및 모델 일반화 측면에서 발견된 격차를 바탕으로 향후 연구를 위한 체계적인 프레임워크 제안하기 위해.

실험 결과

연구 질문

• RQ1 현대의 딥페이크 생성에서 주로 사용되는 딥러닝 아키텍처는 무엇이며, 특히 시각적 및 청각적 영역에서 어떤가?
• RQ2 현재의 검출 모델은 다양한 공개 데이터셋에서 어떻게 성능을 내며, 실세계 구현에서의 주요 한계는 무엇인가?
• RQ3 일반화, 탄력성 및 데이터 부족과 같은 측면에서 딥페이크 검출의 주요 열린 과제는 무엇인가?
• RQ4 딥페이크 검출 시스템의 평가 및 향상에 현재 어떤 대응 조치 및 표준이 존재하는가?
• RQ5 딥페이크 생성 및 검출 기술을 발전시키기 위해 가장 중요한 향후 연구 방향은 무엇인가?

주요 결과

• 현재의 딥페이크 검출 모델은 도메인 내 데이터셋에서는 높은 성능를 보이지만, 도메인 외부 또는 미리 보지 않은 변조 기법에는 일반화에 실패하는 경우가 많다.
• FaceForensics++ 및 Celeb-DF 데이터셋은 널리 사용되는 벤치마크이며, 최상위 검출 모델은 이 데이터셋에서 AUC 점수 0.95 이상을 달 đạt하고 있다.
• 청각적 딥페이크 검출은 시각적 딥페이크에 비해 여전히 미흡하게 다뤄지고 있으며, 표준화된 데이터셋과 평가 프로토콜이 적다.
• 많은 검출 모델은 적대적 공격에 취약하여 탄력성 향상의 필요성이 있다.
• 표준화된 평가 메트릭이 부족하고, 다양한 실제 세계 데이터가 부족하여 현재의 검출 시스템이 실질적 구현에 어려움을 겪고 있다.
• 향후 연구는 일반화, 해석 가능성 및 시각적 및 청각적 딥페이크를 위한 통합 벤치마크 개발을 우선시해야 한다.