[논문 리뷰] Self-supervised Learning of Adversarial Example: Towards Good Generalizations for Deepfake Detection

Liang Chen, Yong Zhang외 3명|arXiv (Cornell University)|2022. 03. 23.

Digital Media Forensic Detection인용 수 14

한 줄 요약

이 논문은 딥페이크 탐지에 대해 자기지도 학습 기반의 적대적 증강 프레임워크를 제안하며, 다양한 도전적인 위조 영상을 동적으로 생성하고 탐지기가 위조 구성(영역, 혼합 유형, 비율)을 예측하도록 학습시킴으로써 모델의 일반화 능력을 향상시킨다. 이 방법은 여러 미사용된 데이터셋에서 최신 기준 성능을 달성하며, 적대적 증강과 자기지도 학습 작업을 통해 기존 기준보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

Recent studies in deepfake detection have yielded promising results when the training and testing face forgeries are from the same dataset. However, the problem remains challenging when one tries to generalize the detector to forgeries created by unseen methods in the training dataset. This work addresses the generalizable deepfake detection from a simple principle: a generalizable representation should be sensitive to diverse types of forgeries. Following this principle, we propose to enrich the "diversity" of forgeries by synthesizing augmented forgeries with a pool of forgery configurations and strengthen the "sensitivity" to the forgeries by enforcing the model to predict the forgery configurations. To effectively explore the large forgery augmentation space, we further propose to use the adversarial training strategy to dynamically synthesize the most challenging forgeries to the current model. Through extensive experiments, we show that the proposed strategies are surprisingly effective (see Figure 1), and they could achieve superior performance than the current state-of-the-art methods. Code is available at \url{https://github.com/liangchen527/SLADD}.

연구 동기 및 목표

• 다른 데이터셋이나 방법에서 유래한 새로운 위조 영상에 대해 테스트할 때 딥페이크 탐지기의 낮은 일반화 능력 문제를 해결한다.
• 고정된, 경험적으로 설계된 연산에 의존하는 기존 데이터 증강 전략의 한계를 극복하며, 다양성이 제한된 문제를 해결한다.
• 자기지도 학습 기반의 구성 예측 작업을 통해 다양한 위조 유형에 민감하게 반응하도록 탐지기의 강건성을 향상시킨다.
• 현재 탐지기의 성능에 기반해 반복적으로 업데이트되는 동적이고 적대적인 학습 전략을 개발하여 표현 학습 능력을 향상시킨다.

제안 방법

• 다양한 풀에서 무작위로 위조 구성(영역, 혼합 유형, 혼합 비율)을 샘플링하여 합성 네트워크를 사용해 적대적 위조 영상을 생성한다.
• 이중 분류(진짜/가짜)를 수행하는 동시에 위조 구성 예측을 동시에 수행하도록 탐지기를 훈련시키며, 영역 마스크 추정, 혼합 유형 예측, 혼합 비율 회귀의 세 가지 자기지도 학습 작업을 도입한다.
• 탐지기의 성능에 기반해 합성 네트워크를 반복적으로 업데이트함으로써 적대적 학습을 수행하여 점점 더 어려운 위조 영상을 생성하도록 한다.
• 주 분류 손실과 보조 자기지도 학습 손실을 통합한 공동 손실 함수를 사용해 다중 작업 학습을 통합한다.
• 고품질의 위조 영상을 합성하기 위해 GAN 기반 생성기 사용하며, 구성 요소를 학습 가능한 파라미터로 제어하여 다양한 실재성 있는 증강을 가능하게 한다.
• 훈련에는 FaceForensics++ 데이터셋을 사용하고, CelebDF, DFDC, DF1.0과 같은 새로운 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 동적으로 도전적인 위조 영상을 생성하는 적대적 데이터 증강 기법이 새로운 데이터셋과 방법에서의 딥페이크 탐지기 일반화 능력을 향상시킬 수 있는가?
• RQ2 자기지도 학습 기반의 구성 예측(위조 영역, 혼합 유형, 혼합 비율)이 탐지기의 강건성과 특징 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 적대적 학습 기반의 데이터 증강이 딥페이크 탐지에서 고정된, 경험적으로 설계된 증강 기법보다 우월한가?
• RQ4 자기지도 보조 작업이 이진 분류 손실에만 의존하는 경우에 비해 탐지기 성능 향상에 얼마나 기여하는가?
• RQ5 합성기 기반의 적대적 증강 전략은 탐지기의 편향을 줄이고 새로운 위조 영상에 대한 제로샷 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 테스트 시 미사용 데이터셋에서 베이스라인 Xception 모델 대비 4% 성능 향상을 달성하며, 뛰어난 일반화 능력을 입증한다.
• 적대적 증강만을 사용할 경우(이를 Xception w/ adv로 표기함) 기존 베이스라인 대비 뚜렷한 4% 향상이 이루어지며, 동적이고 모델 기반의 데이터 증강의 효과를 입증한다.
• 적대적 증강을 무작위 이미지 연산으로 대체할 경우 성능 저하가 심각하게 발생함으로써, 이 방법의 성공에 있어 적대적 학습이 필수적임을 입증한다.
• 세 가지 자기지도 학습 작업 중 어느 하나라도 제거할 경우 성능 저하가 명백히 발생하며, 이는 각 작업의 개별적 및 종합적 기여도를 확인한다.
• 수작업 특징이나 고정된 증강 기반의 최신 기준 탐지기들보다 성능이 뛰어나며, 특히 CelebDF 및 DFDC 벤치마크에서 두드러진 성능 향상을 보인다.
• 제거 실험 결과, 적대적 증강과 다중 작업 자기지도 학습의 조합이 가장 우수한 일반화 성능을 내며, 전체 모델이 모든 테스트 세트에서 뛰어난 정확도를 달성함을 확인한다.