[논문 리뷰] Source Generator Attribution via Inversion

Michael Albright, Scott McCloskey|arXiv (Cornell University)|2019. 01. 01.

Digital Media Forensic Detection인용 수 17

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN)의 생성 과정을 뒤집는 방식으로, 합성 이미지를 그 원천 GAN에 할당하는 화이트박스 방법을 제안한다. 입력 이미지를 재구성하는 잠재 코드를 최적화함으로써, 이 방법은 생성기의 기원을 동시에 검증하고 타당한 잠재 입력을 복원할 수 있으며, 합성 영상에 대한 정밀한 기원 할당을 가능하게 한다.

ABSTRACT

With advances in Generative Adversarial Networks (GANs) leading to dramatically-improved synthetic images and video, there is an increased need for algorithms which extend traditional forensics to this new category of imagery. While GANs have been shown to be helpful in a number of computer vision applications, there are other problematic uses such as `deep fakes' which necessitate such forensics. Source camera attribution algorithms using various cues have addressed this need for imagery captured by a camera, but there are fewer options for synthetic imagery. We address the problem of attributing a synthetic image to a specific generator in a white box setting, by inverting the process of generation. This enables us to simultaneously determine whether the generator produced the image and recover an input which produces a close match to the synthetic image.

연구 동기 및 목표

• GAN에 의해 생성된 합성 이미지의 기원 생성기를 식별하는 데 점점 증가하는 도전 과제를 해결하기 위해.
• 기존의 할당 방법이 제한되어 있는 합성 영상으로의 이미지 정밀 감시 기술을 확장하기 위해.
• 동시에 생성기 기원을 검증하고 합성 이미지와 일치하는 잠재 입력을 복원하는 화이트박스 솔루션을 개발하기 위해.

제안 방법

• 이 방법은 주어진 합성 이미지를 재구성하도록 잠재 코드를 최적화하여 GAN 생성 과정을 뒤집는다.
• 잠재 코드 최적화를 위한 기울기를 계산하기 위해 생성기를 통해 미분 가능한 정방향 전파를 사용한다.
• 생성된 이미지와 입력 합성 이미지 간의 재구성 손실을 최소화하는 최적화를 수행한다.
• 이 방법은 생성기의 아키텍처와 파라미터에 대한 전체 액세스 권한이 있는 화이트박스 설정에서 작동한다.
• 재구성 성공은 해당 생성기가 그 이미지를 생성할 수 있었음을 시사하며, 기원 할당을 가능하게 한다.
• 복원된 잠재 코드는 생성기의 고유한 지문으로 작용하여 사용된 특정 생성기 모델을 식별할 수 있다.

실험 결과

연구 질문

• RQ1 화이트박스 설정에서 GAN의 생성 과정을 뒤집는 것이 합성 이미지를 그 기원 생성기로 신뢰성 있게 할당할 수 있는가?
• RQ2 입력 합성 이미지와 일치하는 생성된 이미지를 생성할 수 있도록 얼마나 정확히 잠재 코드를 복원할 수 있는가?
• RQ3 생성 과정을 뒤집는 능력이 다양한 GAN 아키텍처 간에 신뢰성 있는 기원 할당을 가능하게 하는가?

주요 결과

• 이 방법은 입력 이미지와 매우 유사한 합성 이미지를 생성할 수 있는 잠재 코드를 성공적으로 복원하여 높은 재구성 정밀도를 입증했다.
• 이 과정에서 생성기가 해당 이미지를 생성할 수 있었는지 확인할 수 있으며, 높은 신뢰도로 기원 할당이 가능하다.
• 복원된 잠재 코드는 고유한 서명으로 작용하여 사용된 특정 생성기를 식별할 수 있다.
• 이 방법은 생성기 모델에 대한 전체 액세스 권한이 있는 화이트박스 설정에서 효과적으로 작동한다.
• 이 방법은 한 번의 최적화 과정으로 생성기 기원을 검증하고 타당한 입력을 재구성함으로써 이중 목표를 동시에 달성한다.