[논문 리뷰] Learning to Disentangle GAN Fingerprint for Fake Image Attribution

Tianyun Yang, Juan Cao외 5명|arXiv (Cornell University)|2021. 06. 16.

Digital Media Forensic Detection참고 문헌 37인용 수 10

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN)의 안정적이고 내용에 영향을 받지 않는 지문을 생성된 이미지에서 분리하면서도, 가짜 이미지 소스 특정을 위한 특징을 학습하는 다중 작업 프레임워크인 GFD-Net을 제안한다. 인지적 손실과 적대적 제약을 통해 생성자(G), 판별자(D), 분류기(C)를 공동으로 훈련함으로써, 닫힌 세계 및 열린 세계 모두에서 뛰어난 일반화 성능을 달성하며, 지문은 채널 수가 아닌 아키텍처 계층 설계에 의해 주로 결정된다.

ABSTRACT

Rapid pace of generative models has brought about new threats to visual forensics such as malicious personation and digital copyright infringement, which promotes works on fake image attribution. Existing works on fake image attribution mainly rely on a direct classification framework. Without additional supervision, the extracted features could include many content-relevant components and generalize poorly. Meanwhile, how to obtain an interpretable GAN fingerprint to explain the decision remains an open question. Adopting a multi-task framework, we propose a GAN Fingerprint Disentangling Network (GFD-Net) to simultaneously disentangle the fingerprint from GAN-generated images and produce a content-irrelevant representation for fake image attribution. A series of constraints are provided to guarantee the stability and discriminability of the fingerprint, which in turn helps content-irrelevant feature extraction. Further, we perform comprehensive analysis on GAN fingerprint, providing some clues about the properties of GAN fingerprint and which factors dominate the fingerprint in GAN architecture. Experiments show that our GFD-Net achieves superior fake image attribution performance in both closed-world and open-world testing. We also apply our method in binary fake image detection and exhibit a significant generalization ability on unseen generators.

연구 동기 및 목표

• 가짜 이미지 특정을 위한 설명 가능하고 안정적인 GAN 지문이 이미지 내용과 독립적이도록 하는 것.
• 내용에 관련된 특징을 학습하는 직접적 분류 방법의 열악한 일반화 성능을 극복하는 것.
• 생성된 이미지에서 GAN 지문을 분리하고 내용에 영향을 받지 않는 표현을 생성하여 강력한 특정을 가능하게 하는 것.
• GAN 지문 특성의 주요 결정 요소가 되는 아키텍처적 요소를 규명하는 것.

제안 방법

• 다중 작업 프레임워크가 생성자(G), 판별자(D), 분류기(C)를 함께 훈련시켜 입력 이미지에서 GAN 지문을 분리한다.
• 생성자는 지문을 추출하고 이를 실사 이미지에 겹쳐 지문이 포함된 이미지를 형성한다.
• 판별자는 지문이 내용에 영향을 받지 않도록 적대적 손실을 통해, 분류기는 지문이 구분 가능하도록 분류 손실을 통해 지도한다.
• 지문 생성 중 의미적 내용 유출을 억제하기 위해 인지적 손실(L_percept)을 적용한다.
• 생성자의 복잡도 감소 특징을 가짜 이미지 특정을 위한 내용에 영향을 받지 않는 표현으로 사용한다.
• 제거 실험과 정성적 분석을 통해 분리된 지문의 안정성과 고유성을 평가한다.

실험 결과

연구 질문

• RQ1 GAN 지문은 어떤 모습이며, 동일한 GAN에서 생성된 이미지 간에 얼마나 안정적이고 고유한가?
• RQ2 정규화 계층과 네트워크 구조와 같은 아키텍처 구성 요소가 GAN 지문의 특성에 어떤 영향을 미치는가?
• RQ3 분리된 GAN 지문을 활용하여 예측되지 않은 생성기들에 대해 강력한 일반화 성능을 보이는 가짜 이미지 특정이 가능한가?
• RQ4 채널 수의 변화가 아키텍처 수정에 비해 지문에 미치는 영향은 어느 정도인가?
• RQ5 내용 특수 아티팩트에 의존하지 않고 내용에 영향을 받지 않는 표현을 효과적으로 학습하는 방법은 무엇인가?

주요 결과

• GFD-Net은 닫힌 세계 및 열린 세계 모두에서 가짜 이미지 특정 분야에서 최고 성능을 기록하며, 다양한 데이터셋 간에 뛰어난 일반화 성능을 보였다.
• 분리된 GAN 지문은 다양한 내용 입력에 대해 안정적이며, 서로 다른 GAN 간에 고유성이 확보되어 있으며, 모든 아키텍처에서 주기적인 무늬 패턴이 명확히 관찰된다.
• 지문은 주로 아키텍처 계층 설계에 의해 결정되며, 특히 인스턴스 정규화를 디모듈레이션으로 대체하고 스킵-리미드 네트워크를 사용하는 것이 핵심 영향을 미친다. 반면 채널 수의 영향은 미미하다.
• 인지적 손실은 지문 내 의미적 내용 잔여물의 감소에 크게 기여하여 내용에 영향을 받지 않는 특징 품질 향상에 기여한다.
• GLCM 상관관계 분석 결과 각 GAN은 고유한 지문 서명을 지니며, 특히 대각선 방향(π/4, 3π/4)에서 강한 상관관계를 보였다.
• 이 방법은 이진 가짜 이미지 검출 문제에도 잘 일반화되어, 예측되지 않은 생성기에서 기준 방법들을 능가하는 성능을 보였다.