[논문 리뷰] Generalized Zero and Few-Shot Transfer for Facial Forgery Detection

Shivangi Aneja, Matthias Nießner|arXiv (Cornell University)|2020. 06. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 6

한 줄 요약

이 논문은 얼굴 위조 탐지에 대한 새로운 제로- 및 희소-shot 전이 학습 방법인 딥 분포 전이(DDT)를 제안한다. DDT는 혼합 모델 기반 손실을 사용하여 소스 도메인 데이터를 다중 모드 분포로 모델링한다. 분포 모드를 진짜/가짜 레이블로 매핑하는 인코더를 훈련하고, 모드 연관을 통해 전이함으로써, FaceForensics++에서 Dessa 데이터셋으로 전이할 때 기존 최고 성능(SOTA) 기준으로 제로-샷 정확도가 4.88% 향상되고, 희소샷 정확도가 8.38% 향상된다.

ABSTRACT

We propose Deep Distribution Transfer(DDT), a new transfer learning approach to address the problem of zero and few-shot transfer in the context of facial forgery detection. We examine how well a model (pre-)trained with one forgery creation method generalizes towards a previously unseen manipulation technique or different dataset. To facilitate this transfer, we introduce a new mixture model-based loss formulation that learns a multi-modal distribution, with modes corresponding to class categories of the underlying data of the source forgery method. Our core idea is to first pre-train an encoder neural network, which maps each mode of this distribution to the respective class labels, i.e., real or fake images in the source domain by minimizing wasserstein distance between them. In order to transfer this model to a new domain, we associate a few target samples with one of the previously trained modes. In addition, we propose a spatial mixup augmentation strategy that further helps generalization across domains. We find this learning strategy to be surprisingly effective at domain transfer compared to a traditional classification or even state-of-the-art domain adaptation/few-shot learning methods. For instance, compared to the best baseline, our method improves the classification accuracy by 4.88% for zero-shot and by 8.38% for the few-shot case transferred from the FaceForensics++ to Dessa dataset.

연구 동기 및 목표

• 새로운 위조 기법을 경험하지 않은 상황에서 광범위한 재훈련 없이도 위조 기법을 탐지하는 데 도전하는 것.
• 다양한 변조 방법과 데이터셋 간의 얼굴 위조 탐지에서 일반화 능력을 향상시키는 것.
• 특히 제로-샷 및 희소샷 설정에서 효과적인 저자원 환경에서도 기능하는 전이 학습 프레임워크를 개발하는 것.
• 고시각 유사도를 가지는 이진 위조 탐지 작업에서 전통적인 도메인 적응 및 희소샷 학습의 한계를 극복하는 것.

제안 방법

• 소스 도메인의 진짜 및 가짜 클래스에 해당하는 모드를 가진 다중 모드 분포를 학습하기 위해 혼합 모델 기반 손실을 제안한다.
• 워샤르슈타인 거리 최소화를 통해 각 분포 모드의 잠재 코드를 해당 클래스 레이블(진짜/가짜)로 매핑하는 인코더 네트워크를 훈련한다.
• 목표 도메인의 샘플을 사전에 훈련된 모드 중 가장 가까운 것으로 연관지켜 모드 근접도를 기반으로 분류를 가능하게 함으로써 모델을 새로운 도메인으로 전이한다.
• 전이 도메인 간 일반화 능력을 향상시키기 위해 훈련 중 소스 및 목표 도메인의 이미지를 혼합하는 공간적 믹스업 증강 전략을 도입한다.
• 두 단계 훈련 과정을 사용한다: 소스 데이터에서 분포 손실을 사용한 사전 훈련, 그 다음 목표 데이터에서 모드 연관을 사용한 미세조정.
• 진짜 및 가짜 분포 간 워샤르슈타인 거리 기반 대조 학습 목표를 도입하여 잠재 표현을 정렬한다.

실험 결과

연구 질문

• RQ1 한 위조 기법에서 사전 훈련된 모델이 새로운 위조 기법을 경험하지 않은 상황에서 제로 또는 희소한 학습 샘플만으로 효과적으로 일반화될 수 있는가?
• RQ2 소스 데이터를 다중 모드 분포로 모델링하는 것이 제로- 및 희소샷 전이에서 얼굴 위조 탐지 성능을 어떻게 향상시키는가?
• RQ3 공간적 믹스업 증강 전략이 다양한 위조 기법과 데이터셋 간의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 DDT는 제로- 및 희소샷 위조 탐지에서 기존 최고 성능(SOTA)의 도메인 적응 및 희소샷 학습 방법보다 어떻게 비교되는가?
• RQ5 제안된 분포 기반 손실이 교차 도메인 위조 탐지에서 표준 분류나 대조 학습보다 우수한가?

주요 결과

• FaceForensics++에서 Dessa 데이터셋으로 전이할 때, DDT는 최고의 베이스라인 대비 제로-샷 분류 정확도를 4.88% 향상시켰다.
• 희소샷 설정에서 DDT는 동일한 전이 작업에서 가장 강력한 베이스라인 대비 8.38%의 정확도 향상을 기록했다.
• 공간적 믹스업 증강은 NT-to-DF 및 DF-to-NT 전이 간 평균적으로 제로-샷 정확도를 2.88% 향상시켰으며, NT-to-DF 작업의 희소샷 미세조정에서 3.81% 향상되었다.
• DDT는 Dessa, Celeb-DF, AIF 세 가지 추가 데이터셋에서 모든 베이스라인을 능가했으며, 단지 100장의 미세조정 이미지로 각각 84.80%, 77.07%, 70.32%의 정확도를 달성했다.
• 제안된 분포 기반 손실과 모드 연관 전략은 진짜 및 가짜 이미지 간 시각 유사도가 높은 경우에도 효과적인 전이를 가능하게 하여, 표준 분류 및 대조 학습 접근 방식을 능가했다.
• 절단 실험 결과, 공간적 믹스업은 특히 희소샷 시나리오에서 새로운 위조 기법으로의 일반화 능력을 크게 향상시키며, 내부 도메인 성능에는 최소한의 영향을 미친다.