[논문 리뷰] Countering Malicious DeepFakes: Survey, Battleground, and Horizon

Felix Juefei-Xu, Run Wang외 4명|arXiv (Cornell University)|2021. 02. 27.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 딥페이크 생성, 탐지 및 회피에 대한 종합적인 설문 조사 자료를 제공하며, 생성자와 탐지기 간의 적대적 '전장'을 분석한다. 318篇 이상의 연구 논문을 종합하여 방법의 분류 체계, 상호작용 가능한 시각화 자료, 그리고 자기지도 학습과 비전 트랜스포머 기반의 향후 추세에 대한 통찰을 제공한다.

ABSTRACT

The creation or manipulation of facial appearance through deep generative approaches, known as DeepFake, have achieved significant progress and promoted a wide range of benign and malicious applications, e.g., visual effect assistance in movie and misinformation generation by faking famous persons. The evil side of this new technique poses another popular study, i.e., DeepFake detection aiming to identify the fake faces from the real ones. With the rapid development of the DeepFake-related studies in the community, both sides have formed the relationship of battleground, pushing the improvements of each other and inspiring new directions, e.g., the evasion of DeepFake detection. Nevertheless, the overview of such battleground and the new direction is unclear and neglected by recent surveys due to the rapid increase of related publications, limiting the in-depth understanding of the tendency and future works. To fill this gap, in this paper, we provide a comprehensive overview and detailed analysis of the research work on the topic of DeepFake generation, DeepFake detection as well as evasion of DeepFake detection, with more than 318 research papers carefully surveyed. We present the taxonomy of various DeepFake generation methods and the categorization of various DeepFake detection methods, and more importantly, we showcase the battleground between the two parties with detailed interactions between the adversaries (DeepFake generation) and the defenders (DeepFake detection). The battleground allows fresh perspective into the latest landscape of the DeepFake research and can provide valuable analysis towards the research challenges and opportunities as well as research trends and future directions. We also elaborately design interactive diagrams (http://www.xujuefei.com/dfsurvey) to allow researchers to explore their own interests on popular DeepFake generators or detectors.

연구 동기 및 목표

• 딥페이크 연구 전반에 걸쳐 최신 정보를 종합적으로 제공함으로써 생성, 탐지 및 회피 기법을 포함한 종합적인 개요를 제공한다.
• 딥페이크 생성자와 탐지기 간의 변화하는 적대적 관계를 맵핑하여, 이들의 동적 '전장'을 부각한다.
• 이 분야의 핵심 연구 과제, 기회 및 새로운 추세를 특정하며, 특히 생성형 AI 분야의 급속한 발전을 고려한다.
• 인기 있는 생성자와 탐지기의 시각화를 제공하는 전용 웹사이트를 통해 연구자와 전문가들이 활용할 수 있는 선별된 상호작용 자원을 제공한다.
• 딥페이크 연구의 미래를 탐색하며, 자기지도 학습과 비전 트랜스포머가 차세대 모델을 형성하는 데 수행할 역할을 분석한다.

제안 방법

• 딥페이크 생성, 탐지 및 회피에 관한 318편 이상의 연구 논문을 체계적으로 조사한다.
• 딥페이크 생성 방법을 네 가지 범주로 분류한다: 전체 얼굴 합성, 특성 조작, 신원 교체, 표정 교체.
• 기술적 접근 방식에 따라 딥페이크 탐지 방법을 분류한다: 수작업 특징, 딥러닝, 하이브리드 모델.
• 생성자와 탐지기 간의 적대적 역학을 분석하여, 한 쪽의 발전이 다른 쪽의 혁신을 이끄는 방식을 설명한다.
• 인기 있는 딥페이크 생성자와 탐지기를 시각화하고 탐색할 수 있는 상호작용 웹 플랫폼(http://www.xujuefei.com/dfsurvey)을 도입한다.
• 자기지도 학습과 비전 트랜스포머의 통합, GAN 지문 기반 기술, 은밀한 워터마킹 등 향후 시스템에서의 새로운 추세를 탐색한다.

실험 결과

연구 질문

• RQ1 딥페이크 생성 방법의 주요 범주와 기술적 진화 경로는 무엇인가?
• RQ2 딥페이크 탐지 기법은 어떻게 진화했으며, 현재 연구에서 지배적인 접근 방식은 무엇인가?
• RQ3 딥페이크 생성자와 탐지기 간의 핵심 적대적 상호작용은 무엇이며, 이는 연구 환경을 어떻게 형성하는가?
• RQ4 자기지도 학습과 비전 트랜스포머를 고려할 때, 딥페이크 탐지 분야의 새로운 추세와 향후 연구 방향은 무엇인가?
• RQ5 워터마킹과 모델 지문 기반 기술과 같은 책임 있는 AI 실천 방식은 어떻게 딥페이크 완화 전략에 통합될 수 있는가?

주요 결과

• 딥페이크 생성자와 탐지기 간의 적대적 관계는 계속해서 혁신을 이끄는 역동적인 '전장'을 만들어 냈다.
• 탐지기들이 가장 자주 대상으로 삼는 딥페이크 모odal은 신원 교체이며, 그 다음으로 전체 얼굴 합성, 표정 교체가 가장 덜 대상이 되고 있다.
• 자기지도 학습과 비전 트랜스포머(ViT)는 향후 딥페이크 생성 및 탐지 시스템을 재정의할 가능성이 있는 핵심 기술로 부상하고 있다.
• 비전 트랜스포머인 ViT, TransGAN, Paint Transformer는 최신 기술 수준의 이미지 생성 능력을 보이며, 딥페이크 생태계 내에서 ViT 기반 아키텍처로의 전환을 시사한다.
• GAN 지문 기반 기술과 은밀한 워터마킹은 합성 미디어의 책임 있는 공개 및 추적 가능성을 위한 유망한 길을 열어 놓고 있다.
• 이 논문은 향후 합성 얼굴가 실제 얼굴과 구별되지 않는 '딥페이크 싱귤래리티'가 발생할 가능성을 예측하며, 사전 대비 연구 및 완화 전략의 시급성을 강조한다.