[논문 리뷰] Towards General Visual-Linguistic Face Forgery Detection

Ke Sun, Chen Shen외 5명|arXiv (Cornell University)|2023. 07. 31.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 시각-언어적 문장 수준 프롬프트를 감독 신호로 사용하여 일반화 능력과 해석 가능성 향상을 도모하는 새로운 다중모달 프레임워크인 Visual-Linguistic Face Forgery Detection (VLFFD)를 제안한다. Prompt Forgery Image Generator (PFIG)를 통해 의미 정보가 부여된 혼합 가짜 이미지를 생성하고, Coarse-and-Fine Co-training (C2F) 프레임워크로 훈련함으로써 VLFFD는 검증되지 않은 테스트 데이터에서 기존의 기준 모델 대비 AUC 13% 향상을 달성하며, 다중모달 LLM과 통합 시 추론 기반의 해석 가능한 가짜 얼굴 검출이 가능하다.

ABSTRACT

Deepfakes are realistic face manipulations that can pose serious threats to security, privacy, and trust. Existing methods mostly treat this task as binary classification, which uses digital labels or mask signals to train the detection model. We argue that such supervisions lack semantic information and interpretability. To address this issues, in this paper, we propose a novel paradigm named Visual-Linguistic Face Forgery Detection(VLFFD), which uses fine-grained sentence-level prompts as the annotation. Since text annotations are not available in current deepfakes datasets, VLFFD first generates the mixed forgery image with corresponding fine-grained prompts via Prompt Forgery Image Generator (PFIG). Then, the fine-grained mixed data and coarse-grained original data and is jointly trained with the Coarse-and-Fine Co-training framework (C2F), enabling the model to gain more generalization and interpretability. The experiments show the proposed method improves the existing detection models on several challenging benchmarks. Furthermore, we have integrated our method with multimodal large models, achieving noteworthy results that demonstrate the potential of our approach. This integration not only enhances the performance of our VLFFD paradigm but also underscores the versatility and adaptability of our method when combined with advanced multimodal technologies, highlighting its potential in tackling the evolving challenges of deepfake detection.

연구 동기 및 목표

• 기존의 이진 레이블 기반 얼굴 가짜 검출 방법에서의 의미 정보 부족과 해석 가능성 부족 문제를 해결하기 위해.
• 미리 알려지지 않은 가짜 유형에 대해 일반화 능력을 향상시키기 위해 세밀한 텍스트 애너테이션을 활용하기 위해.
• 가짜 검출 예측에 대해 설명 가능한 문장 수준의 근거를 제공함으로써 해석 가능한 검출을 가능하게 하기 위해.
• 다중모달 대규모 언어 모델(Large Language Models, LLMs)과 시각-언어적 패러다임을 통합하여 검출 성능을 향상시키기 위해.
• 기존 데이터셋에서 세밀한 가짜 애너테이션을 가진 이미지-텍스트 쌍을 생성하는 확장 가능한 파이프라인을 구축하기 위해.

제안 방법

• 정량 기준에 기반해 실물 및 가짜 얼굴 쌍을 분리하고 재조합하여 혼합 가짜 이미지를 자동으로 생성하는 Prompt Forgery Image Generator (PFIG)를 제안한다.
• 가짜 특성(예: 자연스럽지 않은 눈 모양, 일관되지 않은 조명 등)을 묘사하는 세밀한 문장 수준의 프롬프트를 설계하여 의미 정보를 제공한다.
• 거시적 원본 데이터와 미세한 혼합 데이터를 동시에 학습하는 대비적 다중모달 학습 환경에서, Coarse-and-Fine Co-training (C2F) 프레임워크를 도입한다.
• 시각-언어적 특징 정렬을 위해 CLIP을 백본으로 활용하여, 제로샷 전이 능력 향상과 새로운 가짜 유형에 대한 강건성 향상을 달성한다.
• PFIG가 생성한 이미지-텍스트 쌍과 추론 기반 프롬프트를 사용해 MiniGPT-4를 미세조정하여, LLM이 검출 결정에 대한 설명 가능한 근거를 제공할 수 있도록 한다.
• 엔드 투 엔드 검출과 LLM 미세조정을 동시에 수행하는 이중 학습 전략을 적용하며, 일관성을 확보하기 위해 둘 다 동일한 의미 정보 애너테이션을 사용한다.

실험 결과

연구 질문

• RQ1 이진 레이블을 넘어서 세밀한 문장 수준의 텍스트 프롬프트가 얼굴 가짜 검출 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 시각-언어적 감독을 통한 다중모달 학습이 가짜 검출에서 해석 가능성에 어떻게 기여하는가?
• RQ3 제안된 PFIG 모듈이 인간의 애너테이션 없이도 현실적이면서 의미적으로 유의미한 이미지-텍스트 쌍을 생성할 수 있는가?
• RQ4 다중모달 LLM과 VLFFD를 통합할 경우 검출 성능과 추론 능력이 어느 정도 향상되는가?
• RQ5 C2F 공학 학습 프레임워크는 거시적 및 미세한 데이터를 효과적으로 활용하여 새로운 가짜 유형에 대한 강건성을 향상시키는가?

주요 결과

• VLFFD는 검증되지 않은 테스트 데이터에서 기존 SOTA 기준 모델 대비 AUC 13% 향상되어, 새로운 가짜 유형에 대한 뛰어난 일반화 능력을 입증한다.
• 모델는 실물/가짜 예측 외에도, 설명 가능한 문장 수준의 설명을 통해 특정 가짜 영역과 특성을 식별한다.
• PFIG가 생성한 데이터로 MiniGPT-4를 미세조정함으로써 LLM은 원본 모델나 거시적 레이블로 미세조정된 모델보다 정확하고 세부적인 근거를 제공할 수 있다.
• C2F 공학 학습 프레임워크는 거시적 및 미세한 데이터를 효과적으로 통합하여 더 강건한 특징 학습과 시각적-언어적 신호 간의 정렬 향상을 이룬다.
• PFIG 모듈은 기존 데이터셋에서 의미적으로 유의미하고 다양한 이미지-텍스트 쌍을 성공적으로 생성하여, 다중모달 학습을 위한 확장 가능한 데이터 증강을 가능하게 한다.
• 다중모달 LLM과의 통합은 높은 잠재력을 보이며, 미세조정된 모델은 정확도와 추론 품질 측면에서 원본 LLM 및 거시적 레이블로 학습된 모델을 모두 능가한다.