[논문 리뷰] DeepfakeUCL: Deepfake Detection via Unsupervised Contrastive Learning

Sheldon Fung, Xuequan Lu외 2명|arXiv (Cornell University)|2021. 04. 23.

Digital Media Forensic Detection참고 문헌 25인용 수 4

한 줄 요약

이 논문은 깊이 재구성된 얼굴 이미지의 두 개의 증강된 시각을 생성하고, 대조 손실을 통해 불변 특징을 학습하며, 인코더의 특징을 후행 분류 작업에 사용하는 비지도 대비 학습 방법인 DeepfakeUCL을 제안한다. 다양한 데이터셋에서 최신 지도 학습 방법과 비교할 만한 검출 성능를 달성하며, 특히 도전적인 데이터셋 간 벤치마크에서 일부 지도 모델을 능가한다.

ABSTRACT

Face deepfake detection has seen impressive results recently. Nearly all existing deep learning techniques for face deepfake detection are fully supervised and require labels during training. In this paper, we design a novel deepfake detection method via unsupervised contrastive learning. We first generate two different transformed versions of an image and feed them into two sequential sub-networks, i.e., an encoder and a projection head. The unsupervised training is achieved by maximizing the correspondence degree of the outputs of the projection head. To evaluate the detection performance of our unsupervised method, we further use the unsupervised features to train an efficient linear classification network. Extensive experiments show that our unsupervised learning method enables comparable detection performance to state-of-the-art supervised techniques, in both the intra- and inter-dataset settings. We also conduct ablation studies for our method.

연구 동기 및 목표

• 라벨이 없는 훈련 데이터에서의 딥페이크 탐지 과제를 해결하기 위해, 라벨 데이터 확보가 비용과 시간이 많이 들기 때문이다.
• 비지도 대비 학습이 레이블이 없는 예시 없이도 딥페이크 탐지에 유용한 특징를 학습할 수 있는지 탐색하기 위해.
• 제안된 방법의 효과성을 내부 데이터셋 및 외부 데이터셋 일반화 설정 모두에서 평가하기 위해.
• 비지도 대비 학습의 성능를 지도 기반 기준 모델과 비교하고, 데이터 증강 및 특징 추출 레이어와 같은 핵심 구성 요소를 분석하기 위해.

제안 방법

• 랜덤 크롭, 색상 왜곡, 랜덤 회색조 등 데이터 증강 기법을 사용하여 단일 얼굴 이미지에서 두 가지 다른 증강된 시각을 생성한다.
• 두 시각을 공유된 인코더 네트워크를 거친 후 프로젝션 헤드를 통해 통과시키며, 대조 손실을 통해 그 표현 간 유사도를 최대화한다.
• 대조 학습 목표는 동일한 이미지의 증강된 시각(양성 쌍)에 대해 일관된 표현을 생성하도록 유도하고, 다른 이미지의 표현(음성 쌍)은 서로 멀어지도록 유도한다.
• 비지도 사전 훈련 이후, 인코더의 특징를 선형 분류기의 입력으로 사용하여 평가하며, 엔드 투 엔드 미세조정을 피한다.
• 세 가지 벤치마크 데이터셋(FaceForensics++, UADFV, Celeb-DF)에서 AUC 점수를 사용하여 평가한다.
• 비지도 대비 학습과 지도 학습 대비 학습의 비교, 다양한 데이터 증강 조합, 인코더와 프로젝션 헤드 특징의 유용성 등을 분석하기 위해 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 비지도 대비 학습이 레이블이 없는 데이터 없이도 딥페이크 탐지에 유용한 특징를 학습할 수 있는가?
• RQ2 내부 데이터셋 및 외부 데이터셋 설정 모두에서 제안된 비지도 방법의 성능가 최신 지도 기반 딥페이크 탐지 기술과 비교해보면 어떠한가?
• RQ3 다양한 데이터 증강 전략이 학습된 특징의 강건성과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 딥페이크 탐지에서 후행 선형 분류 작업에 있어 인코더의 출력이 프로젝션 헤드의 출력보다 더 효과적인가?

주요 결과

• 제안된 비지도 대비 학습 방법은 UADFV 데이터셋에서 AUC 93.3%와 Celeb-DF 데이터셋에서 AUC 90.5%를 기록하여 최신 지도 학습 방법과 비교할 만한 성능를 보였다.
• 더 도전적인 Celeb-DF 데이터셋에서, UADFV에서 미세조정한 지도 학습 Xception 모델보다 AUC에서 8.6% 높은 64.8%를 기록했으며, Celeb-DF에서 테스트한 결과이다.
• UADFV에서 훈련하고 Celeb-DF에서 테스트했을 때, 삼중체 손실을 사용한 지도 대비 학습 기반 모델보다 AUC에서 4.8% 높은 성능를 기록했다.
• 랜덤 크롭, 색상 왜곡, 랜덤 회색조, 수평 뒤집기의 네 가지 증강 기법을 모두 사용한 결과, FaceForensics++에서 AUC 59.0%로 향상되었고, UADFV에서는 AUC 85.6%로 상승하여 복잡한 증강의 유용성을 입증했다.
• 후행 선형 분류 작업에서 인코더의 특징가 프로젝션 헤드의 특징보다 항상 뛰어난 성능를 보였으며, 이는 인코더가 더 구분력 있는 표현을 학습했음을 시사한다.
• 추론 실험 결과, 비지도 대비 학습이 효과적이며, 데이터 증강의 복잡성이 증가할수록 성능가 향상됨을 확인했다.