[논문 리뷰] TequilaGAN: How to easily identify GAN samples

Rafael Valle, Wilson Cai외 1명|arXiv (Cornell University)|2018. 07. 13.

Digital Media Forensic Detection참고 문헌 9인용 수 12

한 줄 요약

TequilaGAN는 실재 데이터와 구분되는 수치적 및 통계적 서명을 식별하여 GAN으로 생성된 샘플을 감지하는 방법을 제안한다. 픽셀 값과 스펙트럼 중심 및 기울기와 같은 특징의 통계 분석에 더해, 실재 데이터에서 추출한 공식적 사양을 활용하여 가짜 샘플이 이 사양을 일관되게 위반함을 보여, MNIST, CIFAR10, 음악, 음성 데이터셋에서 신뢰할 수 있는 감지가 가능하다.

ABSTRACT

In this paper we show strategies to easily identify fake samples generated with the Generative Adversarial Network framework. One strategy is based on the statistical analysis and comparison of raw pixel values and features extracted from them. The other strategy learns formal specifications from the real data and shows that fake samples violate the specifications of the real data. We show that fake samples produced with GANs have a universal signature that can be used to identify fake samples. We provide results on MNIST, CIFAR10, music and speech data.

연구 동기 및 목표

• 시각적 검사로는 감지하기 어려운, GAN으로 생성된 샘플의 수치적 및 통계적 성질을 특정하여 그 합성 원천을 드러내는 것.
• 특히 픽셀 강도와 파생 특징에서 실재 데이터와 생성 데이터 간의 통계적 발산을 이용하여 가짜 샘플을 감지하는 방법을 개발하는 것.
• 실재 데이터에서 유도된 공식적 사양을 추출하고, GAN 샘플이 이러한 사양을 위반함을 보여 감지 가능성을 확보하는 것.
• 이를 다양한 데이터 모odal리티에 대해 평가하는 것 — 이미지(MNIST, CIFAR10), 음악(Bach chorales), 음성(NIST 2004).
• GAN 평가에서 정성적 이미지 품질 평가에 의존하는 것의 대안으로, 정량적이고 비시각적인 방법을 제공하는 것.

제안 방법

• 실재 및 생성 샘플의 픽셀 강도와 스펙트럼 중심 및 기울기와 같은 파생 특징의 통계적 모멘트(평균, 분산, 왜도)를 계산한다.
• 실재 데이터와 가짜 데이터의 경험적 누적분포함수(CDF)를 비교하기 위해 쿠모고로프-스미르노프(Kolmogorov-Smirnov, KS) 이중표본 검정과 젠슨-섀논 발산(Jensen-Shannon Divergence, JSD)을 사용한다.
• 특징 기반 제약 조건(예: 스펙트럼 중심 및 기울기 값의 범위 제한)을 이용해 실재 데이터에서 공식적 사양을 학습하고, 가짜 샘플에서의 이 사양 위반 여부를 검증한다.
• MNIST, CIFAR10, 바흐 차올레의 MIDI 파일, NIST 2004 음성 데이터셋의 멜-스펙트로그램을 포함한 여러 데이터셋에 이 방법을 적용한다.
• 비교를 위해 DCGAN 기반으로 LSGAN과 향상된 WGAN-GP(IWGAN) 목표함수를 사용해 GAN을 훈련시킨다.
• 편차가 GAN 생성에 기인한 것인지 또는 데이터의 본질적 변동성 때문인지 평가하기 위해 무작위 기반 기준(예: 지수분포)을 사용한다.

실험 결과

연구 질문

• RQ1 시각적 차이가 미미한 상황에서도, GAN으로 생성된 샘플의 수치적 통계적 성질을 이용해 실재 샘플과 신뢰성 있게 구분할 수 있는가?
• RQ2 실재 데이터와 비교해 GAN으로 생성된 샘플이 스펙트럼 중심 및 기울기와 같은 특징의 통계적 모멘트에서 체계적인 편차를 보이는가?
• RQ3 실재 데이터에서 유도된 공식적 사양을 활용해, 이러한 사양 위반 여부를 식별함으로써 GAN 샘플을 감지할 수 있는가?
• RQ4 LSGAN, IWGAN-GP와 같은 다양한 GAN 아키텍처는 통계적 및 사양 기반 감지 성능에서 어떻게 비교되는가?
• RQ5 데이터 압축 및 비선형 변환(예: 멜-스펙트로그램에서의 로그 압축)은 GAN 샘플의 감지 가능성에 어떤 영향을 미치는가?

주요 결과

• MNIST에서, 실재 샘플과 가짜 샘플 간 KS 검정 통계량은 IWGAN 기반으로 0.21875에 도달했고, p-값은 0.080이었으며, 이는 통계적 발산이 뚜렷함을 시사한다.
• 바흐 차올레 데이터셋에서, 실재 샘플과 가짜 샘플 간 JSD는 0.084였고, 베르누이 기준은 JSD 0.604를 기록하여, 가짜 샘플이 실재 데이터에서의 의미 있는 편차를 보임을 확인한다.
• 음성 데이터(NIST 2004)에서, 실재 멜-스펙트로그램 강도와 가짜 샘플 간 KS 검정 통계량은 0.22149(p-값 = 0.0)였으며, 실재 데이터와의 강한 통계적 차이를 보여준다.
• 높은 청각적 유사성에도 불구하고, 실재 데이터에서 유도된 공식적 사양(예: 스펙트럼 중심 및 기울기의 범위 제한)을 위반하는 경향이 있었으며, 실재 테스트 데이터는 이러한 사양을 만족했다.
• 가짜 샘플의 스펙트럼 중심 및 기울기 모멘트는 실재 데이터 분포와 상당히 겹치며, 저수준 통계를 효과적으로 근사하고 있음을 보여주지만, 고차수 편차는 여전히 감지 가능했다.
• 멜-스펙트로그램에서 동적 범위 압축이 적용된 후에도, 실재 및 가짜 강도의 경험적 CDF 간에 유의미한 발산이 나타났으며, 특히 tanh 활성화 함수의 포화 지점 근처에서 두드러졌다.