[논문 리뷰] Attributing Fake Images to GANs: Analyzing Fingerprints in Generated Images.

Ning Yu, Larry S. Davis외 1명|arXiv (Cornell University)|2018. 11. 20.

Digital Media Forensic Detection참고 문헌 19인용 수 40

한 줄 요약

이 논문은 GAN 생성 이미지 내에서 고유하고 안정적인 지문을 학습하고 활용하여 모델 속성 부여 및 원본 식별을 위한 방법을 제안한다. 다양한 주파수 및 패치에서 잠재 패턴을 분석함으로써, 공격적 변형 조건에서도 실제 이미지 또는 GAN 생성 이미지로의 정확한 분류와 특정 GAN 모델로의 추적을 가능하게 하며, 기존 베이스라인을 능가한다.

ABSTRACT

Recent advances in Generative Adversarial Networks (GANs) have shown increasing success in generating photorealistic images. But they also raise challenges to visual forensics and model attribution. We present the first study of learning GAN fingerprints towards image attribution and using them to classify an image as real or GAN-generated. For GAN-generated images, we further identify their sources. Our experiments show that (1) GANs carry distinct model fingerprints and leave stable fingerprints in their generated images, which support image attribution; (2) even minor differences in GAN training can result in different fingerprints, which enables fine-grained model authentication; (3) fingerprints persist across different image frequencies and patches and are not biased by GAN artifacts; (4) fingerprint finetuning is effective in immunizing against five types of adversarial image perturbations; and (5) comparisons also show our learned fingerprints consistently outperform several baselines in a variety of setups.

연구 동기 및 목표

• 시각 포렌식 분야에서 위조 이미지를 그 원천 GAN 모델로 속성 부여하는 문제에 대응하기 위해.
• GAN이 생성한 이미지에 안정적이고 구별 가능한 지문이 남는지 여부를 조사하기 위해.
• GAN의 미세한 훈련 차이를 기반으로 세밀한 모델 인증을 가능하게 하는 방법을 개발하기 위해.
• 다섯 가지 유형의 공격적 이미지 변형에 대해 학습된 지문의 강건성을 평가하기 위해.
• 다양한 환경에서 제안된 지문 기반 방법의 성능을 여러 베이스라인 방법과 비교하기 위해.

제안 방법

• 이 방법은 다양한 이미지 주파수 및 공간 패치에서 통계적 패턴을 분석함으로써 GAN 생성 이미지에서 모델 전용 지문을 학습한다.
• 딥 러닝 기반 분류기를 사용하여 원천 GAN 아키텍처와 훈련 설정과 관련된 안정적이고 특징적인 요소를 탐지하고 추출한다.
• 지문 표현은 일반적인 GAN 아티팩트에 영향을 받지 않으며, 다양한 이미지 영역과 주파수 대역에서 강건하도록 설계되어 있다.
• 이 방법은 다섯 가지 유형의 이미지 변형에 대한 저항성을 향상시키기 위해 적대적 훈련을 통합하여 지문을 정밀하게 조정한다.
• 다양한 GAN 모델 간의 지문의 구별 능력을 강화하기 위해 대비 학습 전략을 활용한다.
• 이 방법은 이진 분류(실제 대 GAN 생성)와 다중 분류(특정 GAN 모델 식별)를 모두 지원한다.

실험 결과

연구 질문

• RQ1 GAN 생성 이미지에서 고유하게 식별 가능한 안정적인 지문을 학습시켜 원천 모델을 유일하게 특정할 수 있는가?
• RQ2 GAN 훈련 절차의 미세한 변형이 감지 가능한 다른 지문을 생성하는가? 이는 세밀한 모델 인증을 가능하게 하는가?
• RQ3 학습된 지문은 다양한 이미지 주파수, 공간 패치, 이미지 영역에서 강건한가?
• RQ4 다섯 가지 유형의 공격적 이미지 변형 조건에서도 지문 기반 방법의 정확도 유지가 가능한가?
• RQ5 제안된 지문 기반 방법은 다양한 실험 설정에서 기존의 여러 베이스라인 대비 이미지 속성 부여 및 분류 작업에서 성능이 뛰어나게 되는가?

주요 결과

• GAN은 생성한 이미지에 일관되게 안정적이고 구별 가능한 지문을 남기며, 다양한 이미지 영역과 주파수 대역에서 신뢰할 수 있는 이미지 속성 부여를 가능하게 한다.
• GAN 훈련 설정의 미세한 차이가 감지 가능한 다른 지문을 생성하며, 이는 세밀한 모델 인증을 뒷받침한다.
• 학습된 지문은 GAN 아티팩트에 영향을 받지 않으며, 다양한 이미지 패치와 스펙트럼 성분에서 효과적으로 유지된다.
• 지문 정밀 조정은 다섯 가지 유형의 공격적 변형에 대한 저항성을 크게 향상시키며, 높은 속성 정확도를 유지한다.
• 다양한 실험 설정에서 제안된 방법은 이미지 원천 분류 및 속성 부여 작업에서 여러 베이스라인 방법을 일관되게 능가한다.
• 일반적인 이미지 처리 기법으로 이미지가 수정된 후에도 지문이 유지됨을 확인하여 강력한 일반화 능력을 보였다.