[논문 리뷰] Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints

Ning Yu, Larry S. Davis외 1명|arXiv (Cornell University)|2018. 11. 20.

Digital Media Forensic Detection참고 문헌 80인용 수 38

한 줄 요약

이 논문은 GAN 프린트포인트—GAN에 의해 생성된 이미지에 나타나는 고유하고 안정적인 패턴—를 학습하고 분석하는 새로운 방법을 제안한다. 이러한 프린트포인트를 통해 가짜 이미지를 그 원천이 되는 GAN 모델로 할당하는 것이 가능해진다. 이 방법은 이러한 학습된 프린트포인트를 기반으로 분류기를 훈련시켜 높은 정확도의 소스 식별 능력을 확보하고, 다양한 공격적 변형에 대해서도 강건성을 유지하며, 기존의 기준 대비 다양한 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Recent advances in Generative Adversarial Networks (GANs) have shown increasing success in generating photorealistic images. But they also raise challenges to visual forensics and model attribution. We present the first study of learning GAN fingerprints towards image attribution and using them to classify an image as real or GAN-generated. For GAN-generated images, we further identify their sources. Our experiments show that (1) GANs carry distinct model fingerprints and leave stable fingerprints in their generated images, which support image attribution; (2) even minor differences in GAN training can result in different fingerprints, which enables fine-grained model authentication; (3) fingerprints persist across different image frequencies and patches and are not biased by GAN artifacts; (4) fingerprint finetuning is effective in immunizing against five types of adversarial image perturbations; and (5) comparisons also show our learned fingerprints consistently outperform several baselines in a variety of setups.

연구 동기 및 목표

• 시각적 증거 분석 분야에서 증가하는 GAN으로 생성된 가짜 이미지를 탐지하고 할당하는 문제를 해결하기 위해.
• GAN 모델이 생성한 이미지에 일관되고 식별 가능한 프린트포인트가 남는지 조사하기 위해.
• 실제 이미지 또는 GAN으로 생성된 이미지를 정확하게 분류하고 특정 GAN 소스를 식별할 수 있는 방법을 개발하기 위해.
• 학습된 프린트포인트가 다양한 공격적 이미지 변형에 대해 얼마나 강건한지 평가하기 위해.
• 학습된 프린트포인트의 성능을 기존 기준 방법들과 비교하여 할당 및 탐지 작업에서의 성능을 평가하기 위해.

제안 방법

• 이 방법은 다양한 주파수 대역에서 이미지 패치로부터 GAN 프린트포인트를 추출하고 분류하기 위해 깊이 신경망을 학습한다.
• 다른 GAN 모델에서 유래한 이미지를 구분할 수 있는 특징를 학습하기 위해 시아모이 네트워크 아키텍처를 사용한다.
• 강건성을 확보하기 위해 다수의 이미지 패치와 주파수 성분(예: 저주파 및 고주파 대역)에서 프린트포인트를 추출한다.
• 다섯 가지 유형의 이미지 변형에 대한 저항성을 향상시키기 위해, 모델을 공격적 예시들에 대해 미세조정한다.
• 동일한 GAN 소스에서 유래한 특징 임bedding은 가까이 있도록, 다른 소스에서 유래한 특징 임bedding은 멀리 떼어지도록 유도하기 위해 대비 손실 함수를 사용한다.
• 최종 할당 분류기는 학습된 프린트포인트 특징을 사용하여 주어진 이미지의 소스 GAN 모델을 예측한다.

실험 결과

연구 질문

• RQ1 GAN으로 생성된 이미지에서 정확한 모델 할당을 가능하게 하는 고유하고 안정적인 프린트포인트를 학습할 수 있는가?
• RQ2 GAN의 미세한 훈련 차이가 결과 프린트포인트와 그 식별 가능성에 어떤 영향을 미치는가?
• RQ3 GAN 프린트포인트는 다양한 이미지 주파수와 공간 패치에서 강건한가?
• RQ4 공격적 이미지 변형 조건 하에서도 프린트포인트 기반 모델이 높은 성능을 유지할 수 있는가?
• RQ5 학습된 프린트포인트의 성능은 기존 기준 방법들에 비해 소스 식별 및 가짜 이미지 탐지 작업에서 어떻게 비교되는가?

주요 결과

• GAN은 생성한 이미지에 일관되고 구분 가능한 프린트포인트를 안정적으로 남기며, 다양한 모델 간에 신뢰할 수 있는 소스 할당이 가능하다.
• GAN의 훈련에서의 미세한 차이가 프린트포인트의 상당한 차이를 유도하여 세밀한 모델 인증이 가능하다.
• GAN 프린트포인트는 다양한 이미지 주파수와 공간 패치에서 강건하며, 일반적인 GAN 아티팩트에 편향되지 않는다.
• 프린트포인트의 미세조정은 저항성을 크게 향상시키며, 다섯 가지 유형의 공격적 변형 조건 하에서도 높은 정확도를 유지한다.
• 다양한 실험 설정에서 이전의 기준 방법들에 비해 소스 식별 및 가짜 이미지 탐지 작업에서 일관되게 뛰어난 성능을 발휘한다.
• 이 방법은 GAN 할당 분야에서 최고 성능을 기록하며, 강력한 일반화 능력과 강건성을 입증한다.