[논문 리뷰] On Attribution of Deepfakes

Baiwu Zhang, Jin Zhou외 2명|arXiv (Cornell University)|2020. 08. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 6

한 줄 요약

이 논문은 시드 재구성 기반 방법을 제안하여 딥페이크를 그 원천 생성 모델에 확률적으로 할당하며, 얼굴 합성에서 97.62%의 할당 정확도를 달성한다. 이 방법은 생성기의 랜덤 시드와 출력 이미지 사이의 맵핑을 활용하여 기원 모델을 추론하며, 변형에 대한 강건성과 인간이 해석할 수 있는 특성을 보이며, 모델 개발자들을 보호하기 위한 납득할 수 있는 부인 가능성 프레임워크도 도입한다.

ABSTRACT

Progress in generative modelling, especially generative adversarial networks, have made it possible to efficiently synthesize and alter media at scale. Malicious individuals now rely on these machine-generated media, or deepfakes, to manipulate social discourse. In order to ensure media authenticity, existing research is focused on deepfake detection. Yet, the adversarial nature of frameworks used for generative modeling suggests that progress towards detecting deepfakes will enable more realistic deepfake generation. Therefore, it comes at no surprise that developers of generative models are under the scrutiny of stakeholders dealing with misinformation campaigns. At the same time, generative models have a lot of positive applications. As such, there is a clear need to develop tools that ensure the transparent use of generative modeling, while minimizing the harm caused by malicious applications. Our technique optimizes over the source of entropy of each generative model to probabilistically attribute a deepfake to one of the models. We evaluate our method on the seminal example of face synthesis, demonstrating that our approach achieves 97.62% attribution accuracy, and is less sensitive to perturbations and adversarial examples. We discuss the ethical implications of our work, identify where our technique can be used, and highlight that a more meaningful legislative framework is required for a more transparent and ethical use of generative modeling. Finally, we argue that model developers should be capable of claiming plausible deniability and propose a second framework to do so -- this allows a model developer to produce evidence that they did not produce media that they are being accused of having produced.

연구 동기 및 목표

• 오늘날 오용되는 딥페이크의 증가하는 위협에 대응하기 위해.
• 합성 미디어를 원천 생성 모델로 추적할 수 있는 정밀 기법을 개발하여 투명성과 감사 가능성 향상시키기 위해.
• GAN 훈련 과정에서의 적대적 피드백 루프로 인해 본질적으로 취약한 딥페이크 탐지 기술에 대한 의존도를 줄이기 위해.
• 모델 개발자가 악성 콘텐츠 생성 혐의를 잘못 받았을 경우에 대해 입증 가능한 부인 가능성을 확보할 수 있는 메커니즘을 제공하기 위해.
• 생성형 AI의 책임 있는 사용을 위한 통합된 기술적, 법적, 윤리적 프레임워크를 주장하기 위해.

제안 방법

• 각 후보 생성기 하에서 주어진 이미지를 가장 잘 생성한 랜덤 시드를 재구성하기 위한 최적화 문제를 수립한다.
• 생성기가 엔트로피(시드)에서 출력 이미지로의 맵핑을 학습한 것을 활용하여 기원 모델을 확률적으로 식별한다.
• 이미지를 가장 잘 재현하는 시드를 선택하여 가장 가능성이 높은 기원으로 간주하는 확률적 재구성 접근법을 적용한다.
• 노이즈 및 적대적 변형 조건 하에서 성능을 평가하여 이전 탐지 기법들과 비교함으로써 강건성을 검증한다.
• 부록 D에서 하이퍼레진드 기반 시스템을 제안하여 모델 출력을 기록하고 콘텐츠 생성에 대한 입증 가능한 부인 가능성을 제공한다.
• 이중 프레임워크를 도입: 정밀 감시를 위한 할당과 모델 개발자 보호를 위한 납득할 수 있는 부인 가능성

실험 결과

연구 질문

• RQ1 시드 재구성을 통해 합성 이미지를 그 원천 생성 모델에 신뢰성 있게 할당할 수 있는가?
• RQ2 이 할당 방법은 적대적 변형과 후기 조작에 대해 얼마나 강건한가?
• RQ3 인간 전문가들이 할당 결과를 얼마나 잘 이해하고 동의하는가?
• RQ4 모델 개발자가 특정 딥페이크의 생성에 관여하지 않았음을 입증할 수 있는가?
• RQ5 할당 기술이 철저한 무결성을 보장하는 데에 한계가 있으며, 납득할 수 있는 부인 가능성은 이러한 한계를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 방법은 얼굴 합성 벤치마크에서 97.62%의 할당 정확도를 달성했으며, 훈련 단계 수가 몇 단계만 다른 GAN들 사이에서도 구분할 수 있었다.
• 인간 참가자들이 할당 결과에 93.7%의 비율로 동의하여 강력한 해석 가능성과 신뢰성의 가능성을 보였다.
• 이전의 딥페이크 탐지 기법보다 적대적 변형에 덜 민감하여 더 높은 강건성을 보였다.
• 후기 조작은 할당 신뢰도를 떨어뜨릴 수 있어, 엄격한 무결성은 모델 분석만으로는 보장될 수 없다는 점을 시사했다.
• 일부 GAN은 고엔트로피 입력을 통해 어떤 이미지도 생성할 수 있어, 할당의 철저한 무결성 가능성을 약화시켰다.
• 모델 출력을 기록하기 위한 하이퍼레진드 기반 시스템은 입증 가능한 납득할 수 있는 부인 가능성을 제공하며, 법적 및 윤리적 책임 소재를 지원한다.