[논문 리뷰] DeepTag: Robust Image Tagging for DeepFake Provenance

Run Wang, Felix Juefei-Xu외 5명|arXiv (Cornell University)|2020. 09. 21.

Digital Media Forensic Detection인용 수 12

한 줄 요약

DeepTag는 얼굴 이미지에 추적 가능한 메시지를 삽입하여 DeepFake 기원 추적을 가능하게 하는 강력한 딥러닝 기반 이미지 태깅 방법을 제안한다. 간단하면서도 효과적인 인코더-디코더 아키텍처를 사용하여, 공격적인 GAN 기반 변형 조건에서도 약 90%의 메시지 복구 정확도를 달성하며, DeepFake에 대한 사전 대응 방어를 가능하게 한다.

ABSTRACT

In recent years, DeepFake is becoming a common threat to our society, due to the remarkable progress of generative adversarial networks (GAN) in image synthesis. Unfortunately, existing studies that propose various approaches, in fighting against DeepFake, to determine if the facial image is real or fake, is still at an early stage. Obviously, the current DeepFake detection method struggles to catchthe rapid progress of GANs, especially in the adversarial scenarios where attackers can evade the detection intentionally, such as adding perturbations to fool DNN-based detectors. While passive detection simply tells whether the image is fake or real, DeepFake provenance, on the other hand, provides clues for tracking the sources in DeepFake forensics. Thus, the tracked fake images could be blocked immediately by administrators and avoid further spread in social networks. In this paper, we investigated the potentials of image tagging in serving the DeepFake provenance. Specifically, we devise a deep learning-based approach, named DeepTag, with a simple yet effective encoder and decoder design to embed message to the facial image, which is to recover the embedded message after various drastic GAN-based DeepFake transformation with high confidence. The embedded message could be employed to represent the identity of facial images, which further contributed to DeepFake detection and provenance. Experimental results demonstrate that our proposed approach could recover the embedded message with an average accuracy of nearly 90%. Our research finding confirms effective privacy-preserving techniques for protecting personal photos from being DeepFaked. Thus, effective proactive defense mechanisms should be developed for fighting against DeepFakes, instead of simply devising DeepFake detection methods that can be mostly ineffective in practice.

연구 동기 및 목표

• 수동 DeepFake 탐지의 한계를 보완하여 가짜 이미지 원천을 사전에 추적할 수 있도록 하는 것.
• 시각적 품질을 떨어뜨리지 않으면서도 식별 가능한 메시지를 얼굴 이미지에 삽입할 수 있는 프라이버시 보호 기법을 개발하는 것.
• DeepFake 생성에 사용되는 극단적인 GAN 기반 이미지 변형에 대해 메시지의 강건성을 확보하는 것.
• 소셜 네트워크에서 악성으로 생성된 가짜 이미지를 신속하게 차단하기 위한 포렌식 추적을 지원하는 것.

제안 방법

• 이미지 생성 과정 중에 메시지를 얼굴 이미지에 삽입하기 위해 딥러닝 기반의 인코더-디코더 프레임워크를 설계하였다.
• 인코더는 얼굴 이미지의 잠재 표현에 워터마크와 유사한 메시지를 삽입하며, 의미적 통합성을 유지한다.
• 디코더는 GAN 기반 DeepFake 변형을 겪은 이미지에서 삽입된 메시지를 재구성한다.
• 다양한 적대적 왜곡 조건 하에서 메시지 복구 정확도를 최대화하기 위해 엔드 투 엔드로 학습된다.
• 딥 페처의 불변성을 활용하여 심각한 이미지 변형에도 메시지 무결성을 유지한다.
• 최신 GAN에 의해 변형된 이미지에서도 높은 신뢰도로 복구가 가능하도록 최적화되었다.

실험 결과

연구 질문

• RQ1 공격적인 GAN 기반 변형 조건에서도 딥러닝 기반 태깅 시스템이 얼굴 이미지에 메시지를 안정적으로 삽입하고 복구할 수 있는가?
• RQ2 적대적 페르튜베이션과 실제 DeepFake 생성 파이프라인 조건 하에서 삽입된 메시지 복구는 얼마나 강건한가?
• RQ3 삽입된 메시지가 소셜 네트워크에서 가짜 이미지의 원천을 추적하는 신뢰할 수 있는 기원 표식으로 기능할 수 있는가?
• RQ4 태깅 메커니즘이 이미지 품질과 사용자 프라이버시를 어느 정도 유지하는가?
• RQ5 이 접근 방식이 수동 탐지보다 사전 방어를 가능하게 하여 DeepFake 방어에 더 효과적인가?

주요 결과

• 제안된 DeepTag 방법은 다양한 GAN 기반 DeepFake 변형 조건에서 평균적으로 약 90%의 메시지 복구 정확도를 달성한다.
• 극단적인 이미지 변형 조건에서도 삽입된 메시지가 복구 가능하여 강력한 강건성을 입증한다.
• 삽입된 메시지를 통해 가짜 이미지를 원천과 연결함으로써 효과적인 기원 추적을 가능하게 한다.
• 관리자가 알려진 가짜 이미지를 널리 퍼지기 전에 차단할 수 있도록 사전 방어를 지원한다.
• 이 기법은 이미지 품질을 유지하며, 무단 DeepFake를 방지하기 위한 프라이버시 보호 솔루션을 제공한다.
• 결과적으로 사전 워터마킹이 실제 DeepFake 방어 상황에서 반응형 탐지보다 더 효과적임을 확인한다.