[논문 리뷰] Do GANs leave artificial fingerprints?

Francesco Marra, Diego Gragnaniello외 2명|arXiv (Cornell University)|2018. 12. 31.

Digital Media Forensic Detection참고 문헌 20인용 수 4

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)가 생성하는 이미지에 일관되고 검출 가능한 '인위적 지문'을 남긴다는 것을 입증한다. 이는 카메라 고유의 PRNU 패턴과 유사하다. 생성된 이미지에서 잔차를 추정하고 평균을 내어, 아키텍처에 따라 특화된 안정적인 지문을 추출함으로써, 다양한 GAN 모델 간에 매우 정확한 소스 식별이 가능해지며, JPEG 압축 이후에도 성능이 유지된다.

ABSTRACT

In the last few years, generative adversarial networks (GAN) have shown tremendous potential for a number of applications in computer vision and related fields. With the current pace of progress, it is a sure bet they will soon be able to generate high-quality images and videos, virtually indistinguishable from real ones. Unfortunately, realistic GAN-generated images pose serious threats to security, to begin with a possible flood of fake multimedia, and multimedia forensic countermeasures are in urgent need. In this work, we show that each GAN leaves its specific fingerprint in the images it generates, just like real-world cameras mark acquired images with traces of their photo-response non-uniformity pattern. Source identification experiments with several popular GANs show such fingerprints to represent a precious asset for forensic analyses.

연구 동기 및 목표

• GAN이 카메라 PRNU 패턴과 유사한 고유하고 안정적인 흔적을 생성된 이미지에 남기는지 조사하기.
• 이러한 흔적들이 신뢰성 있게 추출되어 이미지 소스의 포렌식 기반 소속 확인에 사용될 수 있는지 판단하기.
• JPEG 압축과 같은 일반적인 이미지 처리 작업에 대해 이러한 지문의 강건성 평가하기.
• 다른 GAN 아키텍처에서 생성된 이미지를 구분하는 데 있어 GAN 지문의 분류 능력 탐색하기.

제안 방법

• 노이즈에서 고수준 의미를 분리하기 위해 이미지 콘텐츠를 노이즈 제거 필터 $ f(X_i) $ 를 사용해 추정하기.
• 원본 이미지와 노이즈 제거된 이미지의 차이로 잔차를 계산하기: $ R_i = X_i - f(X_i) $.
• 여러 개의 잔차 평균을 통해 GAN 지문 추정하기: $ \widehat{F} = \frac{1}{N} \sum_{i=1}^{N} R_i $.
• 잔차와 지문 간 상관 분석을 통해 지문의 안정성과 검출 가능성 검증하기.
• 최소 거리 기반 규칙을 사용해 소스 식별 수행하기: 잔차를 알려진 지문과 비교하기.
• JPEG 압축(QF=95)을 적용한 후에도 재평가하여 강건성 테스트하기.

실험 결과

연구 질문

• RQ1 GAN은 이미지 콘텐츠에 영향을 받지 않고 일관되고 검출 가능한 지문을 생성하는가?
• RQ2 JPEG 압축과 같은 일반적인 이미지 처리 작업에 대해 이러한 지문은 얼마나 강건한가?
• RQ3 GAN 지문을 사용해 생성된 이미지의 소스 GAN 아키텍처를 정확하게 식별할 수 있는가?
• RQ4 다른 GAN 아키텍처 간 지문은 어떻게 다를지, 유사한 아키텍처 간에 유사한 지문이 존재하는지 여부는?
• RQ5 GAN 지문은 기존 딥러닝 기반 GAN 탐지 시스템의 성능을 향상시킬 수 있는가?

주요 결과

• GAN은 생성된 이미지에 안정적이고 아키텍처에 따라 특화된 지문을 남기며, 시각적으로 뚜렷한 잔여 무결성이 없더라도 검출 가능하다.
• 지문 기반 소스 식별은 90% 이상의 정확도를 달성하며, 대부분의 경우 거의 완벽한 성능을 보이며, 오직 Star-GAN의 남성 및 미소 네트워크에서는 다소 낮은 성능을 보였다.
• QF=95로 압축된 이미지에서도 90.1%의 높은 정확도를 유지하여 강건성이 뛰어나다는 것을 확인했다.
• 상관 분석 결과, 특정 GAN에서 유래한 잔차는 오직 그 자체의 지문과 강한 상관관계를 보이며, 다른 GAN의 지문이나 진짜 카메라의 지문과는 관련이 없음을 확인했다.
• 동일한 GAN 아키텍처이지만 다른 데이터셋에서 훈련된 경우, 지문 간 약한 상관관계는 존재하지만 검출 가능했으며, 이는 훈련 데이터에 따라 지문이 변할 수 있음을 시사한다.
• 포렌식 GAN 챌린지에서 딥러닝 기반 탐지 시스템에 GAN 지문 탐지 기법을 융합함으로써 AUC가 0.999까지 향상되어 실제 탐지 작업에서 실용적 유용성을 입증했다.