[논문 리뷰] Building an Invisible Shield for Your Portrait against Deepfakes

Jiazhi Guan, Tianshu Hu외 6명|arXiv (Cornell University)|2023. 05. 22.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 얼굴 특성에 기반한 조건부 주입을 통해 초상화에 딥페이크에 취약한, 노이즈에 강한 메시지를 임bedding하는 프로아티브 방어 프레임워크인 Integrity Encryptor를 제안한다. 메시지가 딥페이크 변형에서 파손되지만 원본에서는 복원 가능하도록 함으로써, 다양한 위조 유형에서 뛰어난 블랙박스 검출 성능(91.50% ACC, 97.81% AUC)을 달성하며 최신 수준의 수동 검출기들을 능가한다.

ABSTRACT

The issue of detecting deepfakes has garnered significant attention in the research community, with the goal of identifying facial manipulations for abuse prevention. Although recent studies have focused on developing generalized models that can detect various types of deepfakes, their performance is not always be reliable and stable, which poses limitations in real-world applications. Instead of learning a forgery detector, in this paper, we propose a novel framework - Integrity Encryptor, aiming to protect portraits in a proactive strategy. Our methodology involves covertly encoding messages that are closely associated with key facial attributes into authentic images prior to their public release. Unlike authentic images, where the hidden messages can be extracted with precision, manipulating the facial attributes through deepfake techniques can disrupt the decoding process. Consequently, the modified facial attributes serve as a mean of detecting manipulated images through a comparison of the decoded messages. Our encryption approach is characterized by its brevity and efficiency, and the resulting method exhibits a good robustness against typical image processing traces, such as image degradation and noise. When compared to baselines that struggle to detect deepfakes in a black-box setting, our method utilizing conditional encryption showcases superior performance when presented with a range of different types of forgeries. In experiments conducted on our protected data, our approach outperforms existing state-of-the-art methods by a significant margin.

연구 동기 및 목표

• 수동 딥페이크 검출기의 한계를 해결하기 위해, 예측 불가능한 변형에 일반화되지 않으며 가시적인 위조 징후에 의존하는 방식을 개선하고자 한다.
• 공개 배포 이전에 초상화를 보호하는 프로아티브 방어 전략을 개발하여, 딥페이크 변형의 검출 가능성을 보장하고자 한다.
• 일반적인 이미지 편집에 강건한 노이즈 내성과 딥페이크에 취약한 메시지 파손성을 동시에 확보하는 통합 프레임워크를 구현하고자 한다.
• 다양한 딥페이크 생성기들에 대해 파손성을 보장하지 못하는 기존 워터마킹 기법의 한계를 극복하고자 한다.

제안 방법

• 비가역적 노이징 모듈과 적대적 훈련을 활용하여, 사용자 이름 해시와 같은 기밀 메시지를 초상화에 임베딩함으로써 노이즈 내성 확보.
• 얼굴 특성 임베딩을 '조건부 토큰'으로 사용하여 메시지를 조건부 주입함으로써, 정확한 복호화에는 원본 얼굴 특성이 반드시 필요하게 함.
• 다른 신원의 메시지와 조건부 맵을 음성 쌍으로 활용하여 딥페이크에 취약한 손실을 도입함으로써, 특성이 변경될 경우 복원이 불가능하도록 함.
• 조건부 주입 설계를 통해 얼굴 특성이 변형된 경우 메시지 복원에 실패하게 하여, 복호화 불일치를 통해 위조 탐지 기능을 구현함.
• 학습 중에 위조 샘플에 접근하지 않는 블랙박스 설정에서 작동하며, 메시지와 원본 특성 간의 조건부 의존성에 기반함.
• 화이트박스 및 블랙박스 프로토콜 모두에서 평가하여, 다양한 이미지 왜곡과 딥페이크 유형에서 일관된 성능을 입증함.

Figure 1 : Workflow of the proposed Integrity Encryptor. 1) Protection : we embed a secret message (e.g., the hash code of the user name) into the target video that we want to protect. 2) Publish : we publish the protected video. 3) Manipulation : the video may be manipulated by bad actors. 4) Verif

실험 결과

연구 질문

• RQ1 가시적인 위조 징후나 사전 학습된 분류기 없이도 딥페이크를 탐지할 수 있는 프로아티브 방어 시스템을 설계할 수 있는가?
• RQ2 실제 이미지 처리 환경에서 워터마킹 기법이 노이즈 내성과 딥페이크 취약성을 동시에 달성할 수 있는가?
• RQ3 얼굴 특성 기반 조건부 메시지 주입 방식이 다양한 딥페이크 생성기들 간의 탐지 내성에 얼마나 기여하는가?
• RQ4 학습 중에 위조 샘플에 접근하지 않는 조건에서도 블랙박스 설정에서 효과적인 탐지가 가능한가?
• RQ5 노이징 모듈과 조건부 손실과 같은 개별 구성 요소들이 시스템의 전체 내성과 취약성에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 Integrity Encryptor는 다섯 가지 유형의 딥페이크에서 블랙박스 검출 성능으로 91.50% 정확도와 97.81% AUC를 달성하며, 수동 검출기들을 크게 능가한다.
• 절단 실험을 통해 노이즈 내성 구성 요소(노이저 모듈 또는 적대적 훈련)를 제거할 경우 성능 저하가 발생하며, 왜곡 조건에서 BER이 0.1225에서 0.2097로 증가함을 확인함.
• 최적의 가중치(λf = 1.0)를 가진 딥페이크에 취약한 손실(Eq. 6)은 평균 90.48% 정확도와 97.18% AUC를 기록하여 강력한 탐지 능력을 입증함.
• 조건부 주입을 제거할 경우 블랙박스 성능은 64.79% 정확도와 70.45% AUC로 떨어지며, 이는 그 핵심적 역할을 입증함.
• 원본 얼굴 특성에 대한 조건부 의존성 덕분에, 블랙박스 설정에서도 화이트박스 성능과 유사한 일관성 있는 성능 유지를 기록함.
• 압축, 블러, 가우시안 노이즈, 무작위 드롭 등의 일반적인 이미지 왜곡에 대해 강건성을 보이며, 모든 수준에서 BER이 0.12 이하로 유지됨.

Figure 2 : Overview of the proposed Integrity Encryptor. 1) Condition Generation : using pretrained encoders (I/A/M -Encoder), we extract Facial Token of the input, which contains the original facial attributes, and then generate the Condition Map based on it. 2) Message Duplication : we spatially r