[논문 리뷰] FakeTagger: Robust Safeguards against DeepFake Dissemination via Provenance Tracking

Run Wang, Felix Juefei-Xu외 3명|arXiv (Cornell University)|2020. 09. 21.

Digital Media Forensic Detection참고 문헌 66인용 수 9

한 줄 요약

FakeTagger는 깊이 학습 기반의 이미지 태깅 시스템으로, 딥페이크의 기원 추적을 가능하게 하기 위해 얼굴 이미지에 인식 불가능하고 강력한 메시지를 삽입한다. 경량형 인코더-디코더 아키텍처와 채널 코딩을 조합함으로써 네 가지 주요 딥페이크 유형에서 95% 이상의 메시지 복구 정확도를 달성하며, 심각한 GAN 기반 변형 조건에서도 성능을 유지하여 딥페이크 유포에 대한 사전 대응 방식을 제공한다.

ABSTRACT

In recent years, DeepFake is becoming a common threat to our society, due to the remarkable progress of generative adversarial networks (GAN) in image synthesis. Unfortunately, existing studies that propose various approaches, in fighting against DeepFake and determining if the facial image is real or fake, is still at an early stage. Obviously, the current DeepFake detection method struggles to catch the rapid progress of GANs, especially in the adversarial scenarios where attackers can evade the detection intentionally, such as adding perturbations to fool the DNN-based detectors. While passive detection simply tells whether the image is fake or real, DeepFake provenance, on the other hand, provides clues for tracking the sources in DeepFake forensics. Thus, the tracked fake images could be blocked immediately by administrators and avoid further spread in social networks. In this paper, we investigate the potentials of image tagging in serving the DeepFake provenance tracking. Specifically, we devise a deep learning-based approach, named FakeTagger, with a simple yet effective encoder and decoder design along with channel coding to embed message to the facial image, which is to recover the embedded message after various drastic GAN-based DeepFake transformation with high confidence. The embedded message could be employed to represent the identity of facial images, which further contributed to DeepFake detection and provenance. Experimental results demonstrate that our proposed approach could recover the embedded message with an average accuracy of more than 95% over the four common types of DeepFakes. Our research finding confirms effective privacy-preserving techniques for protecting personal photos from being DeepFaked.

연구 동기 및 목표

• 새로운 GAN 아키텍처에 대해 일반화하지 못하고 실제 이미지 변형 조건에서 성능이 저하되는 수동적 딥페이크 탐지 방법의 한계를 해결한다.
• 기존 탐지 기법의 취약성을 극복하기 위해 아티팩트 기반 탐지에서 사전 메시지 삽입을 통한 원천 추적으로 전환한다.
• 얼굴 교체, 재연습, 속성 편집과 같은 극단적인 GAN 기반 변형에도 견딜 수 있는 프라이버시를 보장하는 강력한 이미지 태깅 시스템을 개발한다.
• 압축, 크기 조정, 노이즈 등의 악성 조건에서도 높은 메시지 복구 정확도를 확보하면서도 시각적 인식 불가능성을 유지한다.
• 삽입된 기원 태그를 통해 변조된 콘텐츠의 추적 가능성을 보장함으로써 사전 딥페이크 방어 기반을 마련한다.

제안 방법

• 최소한의 시각적 왜곡으로 얼굴 이미지에 메시지를 삽입할 수 있는 경량형 인코더-디코더 신경망 아키텍처를 설계한다.
• 재건된 메시지 비트의 부가적 복제를 통해 채널 코딩을 통합하여 GAN 기반 변형 중 오류 내성 능력을 향상시킨다.
• 신뢰할 수 있는 딥페이크 생성 기법 네 가지(신원 교체, 얼굴 재연습, 속성 편집, 전체 합성)에 노출된 후 메시지 복구 정확도를 최대화하기 위해 모델을 종단 간(end-to-end)으로 훈련한다.
• 실제 적용 가능성을 확보하기 위해 소셜 미디어 공유에 일반적인 256×256 픽셀의 고정 입력 크기를 사용한다.
• 악성 조건에 대한 내성을 향상시키기 위해 적대적 훈련과 강력한 최적화 기법을 적용하여 인식 불가능성을 유지한다.
• 시각적 정밀도와 기능적 내성의 균형을 확보하기 위해 SSIM과 메시지 복구 정확도를 평가 지표로 활용한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 이미지 태깅 시스템이 다양한 극단적인 GAN 기반 딥페이크 변형 후에도 복구 가능한 메시지를 얼굴 이미지에 삽입할 수 있는가?
• RQ2 메시지 길이와 재건 비율이 악성 GAN 변형 조건에서 메시지 복구의 내성과 정확도에 미치는 영향은 어떠한가?
• RQ3 제안된 시스템이 여러 딥페이크 생성 모델을 통해 높은 메시지 복구 정확도를 유지하면서도 시각적 인식 불가능성을 확보할 수 있는가?
• RQ4 삽입된 메시지가 소셜 네트워크에서 변조된 이미지의 기원을 신뢰할 수 있는 기원 표시자로 기능할 수 있는가?
• RQ5 기존의 탐지만을 위한 접근 방식과 비교해 볼 때, 시스템은 실생활 이미지 열화 조건(압축, 크기 조정, 노이즈 등)에서 어떻게 성능을 발휘하는가?

주요 결과

• FakeTagger는 신원 교체, 얼굴 재연습, 속성 편집, 전체 합성 등 네 가지 주요 딥페이크 유형에서 평균 95% 이상의 메시지 복구 정확도를 달성한다.
• 20비트 메시지에 750%의 복제 비율을 적용할 경우, 심각한 GAN 기반 변형 조건에서도 95% 이상의 복구 정확도를 유지한다.
• 메시지 크기가 45비트로 증가하고 복제 비율이 333.3%로 감소할 경우 복구 정확도가 90% 이하로 떨어지며, 이는 용량과 내성 간의 상충 관계를 시사한다.
• 30비트 메시지에 500%의 복제 비율을 적용할 경우 10억 개 이상의 고유한 UID를 표현할 수 있어, 대규모 소셜 미디어 플랫폼에서 고유 식별자를 할당하는 데 충분하다.
• 압축, 크기 조정, 가우시안 노이즈 등의 일반적인 이미지 열화 조건에 대해 강력한 내성을 보이며, 분석 실험을 통해 검증되었다.
• 시스템은 시각적 품질을 효과적으로 유지하며, 테스트 세트에서 평균 SSIM이 0.948을 기록하여 높은 인지적 정밀도를 보였다.