[논문 리뷰] Frequency-aware Discriminative Feature Learning Supervised by Single-Center Loss for Face Forgery Detection

Jiaming Li, Hongtao Xie외 3명|arXiv (Cornell University)|2021. 03. 16.

Face recognition and analysis참고 문헌 45인용 수 21

한 줄 요약

이 논문은 얼굴 위조 탐지에 적합한 주파수 인식 특징 학습 프레임워크(FDFL)를 제안한다. 이는 실면의 특징들 간의 내부 집합성과 이질성 간의 분리성을 향상시키는 새로운 단일 중심 손실(SCL)과 데이터 기반 주파수 신호 탐지를 위한 적응형 주파수 특징 생성 모듈(AFFGM)을 결합한 것이다. 이 방법은 FF++ 데이터셋의 세 가지 모든 변형에서 최신 기준 성능을 달성하였으며, 가장 도전적인 c40 분할에서 99.43% 정확도와 0.998 AUC를 기록하였다.

ABSTRACT

Face forgery detection is raising ever-increasing interest in computer vision since facial manipulation technologies cause serious worries. Though recent works have reached sound achievements, there are still unignorable problems: a) learned features supervised by softmax loss are separable but not discriminative enough, since softmax loss does not explicitly encourage intra-class compactness and interclass separability; and b) fixed filter banks and hand-crafted features are insufficient to capture forgery patterns of frequency from diverse inputs. To compensate for such limitations, a novel frequency-aware discriminative feature learning framework is proposed in this paper. Specifically, we design a novel single-center loss (SCL) that only compresses intra-class variations of natural faces while boosting inter-class differences in the embedding space. In such a case, the network can learn more discriminative features with less optimization difficulty. Besides, an adaptive frequency feature generation module is developed to mine frequency clues in a completely data-driven fashion. With the above two modules, the whole framework can learn more discriminative features in an end-to-end manner. Extensive experiments demonstrate the effectiveness and superiority of our framework on three versions of the FF++ dataset.

연구 동기 및 목표

• 소프트맥스 손실이 내부 집합성과 이질성 간 분리성에 대한 명시적 제약가 부족하여 판별적 특징 학습에 한계를 가진다는 문제를 해결하기 위해.
• 주파수 기반 위조 탐지에서 고정된 필터 베이스와 수작업 특징에 의존함으로써 다양한 위조 패tern에 대한 적응성에 한계가 있다는 문제를 해결하기 위해.
• 다양한 변조 방법에 걸쳐 미세한 위조 전용 아티팩트를 포착할 수 있는 데이터 기반 주파수 특징 추출 메커니즘을 개발하기 위해.
• 다양한 압축 수준과 예측되지 않은 변조 기법 하에서 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 실면 임베딩과 단일 중심점 간의 거리를 최소화하면서도, 실면과 가짜면 간의 중심점 거리 간의 마진을 강제하는 단일 중심 손실(SCL)을 도입한다.
• SCL은 실면에 대해서만 내부 집합성을 명시적으로 증진시켜 다양한 가짜면 분포에 대한 과도한 제약을 피함으로써 최적화 난이도를 감소시킨다.
• 학습 가능한 주파수 전처리 단계와 적응형 주파수 정보 탐색 블록을 통해 주파수 특징 표현을 학습하는 적응형 주파수 특징 생성 모듈(AFFGM)을 설계한다.
• AFFGM은 고정된 필터 베이스에 의존하지 않고 주파수 도메인 아티팩트를 엔드 투 엔드로 학습할 수 있게 하여 데이터에서 관련 주파수 패턴을 자동으로 탐지할 수 있도록 한다.
• SCL과 AFFGM을 통합된 엔드 투 엔드 학습 프레임워크 내에서 결합하여 판별적 특징 학습과 주파수 인식 표현을 동시에 최적화한다.
• 특징 추출을 위해 Xception 백본을 사용하며, SCL은 손실 구성 요소로, AFFGM은 특징 공학 구성 요소로 통합한다.

Figure 1: The feature distribution of samples in the embedding space. Left: learned features supervised by softmax loss are broadly separable but not discriminative enough, since the intra-class compactness and inter-class separability are not explicitly constrained. Right: our SCL only encourages t

실험 결과

연구 질문

• RQ1 실면에 대해서만 내부 집합성을 제약하는 메트릭 학습 손실이 얼굴 위조 탐지에서 특징의 판별성 향상과 최적화 난이도 감소에 기여할 수 있는가?
• RQ2 데이터 기반의 적응형 주파수 특징 생성 모듈이 수작업 또는 고정 필터 기반 주파수 분석을 능가하여 미세한 위조 아티팩트를 효과적으로 포착할 수 있는가?
• RQ3 제안된 FDFL 프레임워크는 FF++ 데이터셋의 다양한 압축 수준(c0, c23, c40)에서 어떻게 성능을 발휘하는가?
• RQ4 SCL과 AFFGM의 통합이 기준 모델 및 이전 최신 기준 방법 대비 탐지 성능 향상에 얼마나 기여하는가?
• RQ5 이 프레임워크는 예측되지 않은 변조 기법에 일반화 가능한가? 이러한 상황에서의 한계는 무엇인가?

주요 결과

• 제안된 FDFL 프레임워크는 FF++ 데이터셋의 가장 도전적인 c40 버전에서 99.43% 정확도, 0.998 AUC, 0.924 pAUC 0.1를 기록하여 이전 최신 기준 방법을 초월하였다.
• 단일 중심 손실(SCL)만으로도 기준 모델 대비 AUC가 5.5% 향상되고 pAUC 0.1가 13.8% 향상되어 특징 판별성 향상의 효과를 입증하였다.
• 적응형 주파수 특징 생성 모듈(AFFGM)은 AUC에서 4.5% 향상되고 pAUC 0.1에서 11.7% 향상되어 주파수 도메인 아티팩트 포착의 가치를 입증하였다.
• SCL과 AFFGM을 결합할 경우 최고의 성능(AUC: 0.924, pAUC 0.1: 0.810)을 기록하여 두 모듈 간 상호 보완성과 상호 작용의 효과를 확인하였다.
• c40 분할에서 FDFL는 이전 최신 기준 방법 대비 AUC 6.4% 향상, pAUC 0.1 15.8% 향상, 정확도 2.86% 향상하여 고압축 환경에서도 강건함을 입증하였다.
• 제거 실험 결과, SCL과 AFFGM이 각각 독립적으로 성능 향상에 기여하며, 전체 모델이 모든 지표에서 최고 점수를 기록함을 확인하였다.

Figure 2: The Frequency-aware Discriminative Features Learning framework. AFFGM stands for the adaptive frequency feature generation module. AFIMB represents the adaptive frequency information mining block. FC represents the fully connected layer and $L_{ce}$ represents the cross-entropy loss. The w