[논문 리뷰] Detecting Deepfakes Without Seeing Any

Tal Reiss, Bar Cavia외 1명|arXiv (Cornell University)|2023. 11. 02.

Digital Media Forensic Detection인용 수 5

한 줄 요약

이 논문은 훈련이 필요 없는 딥페이크 탐지 방법인 FACTOR를 소개한다. 이 방법은 외부의 시각-언어 인코더를 사용하여 주장된 사실(예: 신원, 발화, 캡션 등)과 관찰된 미디어 간의 일관성을 검증함으로써 제로데이 공격을 탐지한다. 허위 데이터를 한 번도 보지 않은 채로도 최신 기술 수준의 성능을 달성하였으며, 얼굴 교체 및 오디오-비주얼 합성 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Deepfake attacks, malicious manipulation of media containing people, are a serious concern for society. Conventional deepfake detection methods train supervised classifiers to distinguish real media from previously encountered deepfakes. Such techniques can only detect deepfakes similar to those previously seen, but not zero-day (previously unseen) attack types. As current deepfake generation techniques are changing at a breathtaking pace, new attack types are proposed frequently, making this a major issue. Our main observations are that: i) in many effective deepfake attacks, the fake media must be accompanied by false facts i.e. claims about the identity, speech, motion, or appearance of the person. For instance, when impersonating Obama, the attacker explicitly or implicitly claims that the fake media show Obama; ii) current generative techniques cannot perfectly synthesize the false facts claimed by the attacker. We therefore introduce the concept of "fact checking", adapted from fake news detection, for detecting zero-day deepfake attacks. Fact checking verifies that the claimed facts (e.g. identity is Obama), agree with the observed media (e.g. is the face really Obama's?), and thus can differentiate between real and fake media. Consequently, we introduce FACTOR, a practical recipe for deepfake fact checking and demonstrate its power in critical attack settings: face swapping and audio-visual synthesis. Although it is training-free, relies exclusively on off-the-shelf features, is very easy to implement, and does not see any deepfakes, it achieves better than state-of-the-art accuracy.

연구 동기 및 목표

• 분포 이탈으로 인해 제로데이 공격에 실패하는 감독 학습 기반 딥페이크 탐지 방법의 핵심적 한계를 해결하기 위해.
• 라벨이 부여된 허위 데이터나 모델 전용 아티팩트에 의존하지 않는 일반화 가능한 탐지 프레임워크를 제안하기 위해.
• 딥페이크에서 확인 가능한 거짓된 사실(예: 주장된 신원 또는 일치하는 오디오-비주얼 콘텐츠)이 탐지에 활용될 수 있음을 보여주기 위해.
• 현재의 생성 모델이 거짓된 사실을 완벽하게 인코딩하지 못하므로, 사실 일관성 검사를 통해 탐지가 가능하다는 것을 보여주기 위해.
• 얼굴 교체, 오디오-비주얼 합성, 텍스트-이미지 생성을 포함한 다양한 딥페이크 시나리오에서 접근 방식을 검증하기 위해.

제안 방법

• FACTOR는 주장된 사실(예: 신원 또는 캡션)을 관찰된 미디어와 대조하여 사실 확인 작업으로서 딥페이크 탐지를 정의한다.
• 외부에서 제공하는 시각 및 언어 인코더(예: CLIP, BLIP2)를 사용하여 미디어와 주장된 사실 간의 유사도 점수를 계산한다.
• 핵심 방법은 두 유사도 점수의 차이로 구성된 진실 점수를 계산하는 것으로, CLIP 특징에 대한 과적합을 방지하기 위함이다.
• 최종 점수는 다음과 같이 정의된다: s(x,y) = sim(φ^BLIP2_X(x), φ^BLIP2_Y(y)) - sim(φ^CLIP_X(x), φ^CLIP_Y(y)), 비-CLIP 인코더와의 일관성을 선호한다.
• 이 접근 방식은 완전히 훈련이 필요 없으며, 사전 훈련이나 미세조정을 위해 허위 데이터가 필요하지 않다.
• 이 방법은 세 가지 주요 공격 유형에 적용 가능하다: 얼굴 교체(신원 주장), 오디오-비주얼 일치(사건 일관성), 텍스트-이미지 일치(프롬프트-이미지 일치).

실험 결과

연구 질문

• RQ1 사전에 허위 데이터를 접하지 않은 채로 주장된 정보와 관찰된 미디어 간의 사실 일관성은 제로데이 딥페이크를 탐지할 수 있는가?
• RQ2 어떤 시각-언어 인코더(예: CLIP)는 허위 이미지에서 오류가 나는 점수를 내는 반면, 다른 인코더(예: BLIP2)는 더 신뢰성 있게 탐지하는 이유는 무엇인가?
• RQ3 주장된 사실의 정보량이 딥페이크 탐지 정확도에 얼마나 영향을 미치는가?
• RQ4 외부에서 제공하는 특징을 사용하는 단순하고 훈련이 필요한 방법이, 아직 보지 못한 공격에 대해 최신 기술 수준의 감독 학습 방법을 능가할 수 있는가?
• RQ5 특정 인코더(예: CLIP)에 과적합된 모델이 사실 확인 기반 탐지의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• FACTOR는 BLIP2-CLIP 차이 점수를 사용하여 텍스트-이미지 딥페이크 탐지에서 79.2%의 ROC-AUC 성능을 달성하였으며, CLIP(30%)와 BLIP2(60%)만 사용했을 때보다 뚜렷이 뛰어나다.
• 이 방법은 시각적으로 매력적인 허위 미디어일지라도 주장된 사실(예: 신원 또는 캡션)과 시각 콘텐츠 간의 일관성 결여를 식별함으로써 딥페이크를 탐지한다.
• CLIP 점수는 Stable Diffusion 등의 텍스트-이미지 모델이 CLIP 특징를 사용해 훈련되면서 과적합되면서 딥페이크와 음의 상관관계를 보인다.
• BLIP2 점수는 진짜 이미지와 허위 이미지 간의 분리가 더 잘 이루어지며, 이는 비-CLIP 인코더가 합성 아티팩트와 사실 일관성 결여에 더 강건함을 시사한다.
• 이 방법은 얼굴 교체 및 오디오-비주얼 합성과 같은 아직 보지 못한 공격 유형으로도 잘 일반화되며, 기존에 본 공격에 대해서도 감독 기반 기준 모델을 능가한다.
• 주장된 사실의 정보량이 높을수록 탐지 성능이 향상되며, 이는 확인 가능한 고정밀도의 주장이 효과적인 사실 확인에 필수적이라는 것을 확인한다.