[논문 리뷰] Black-Box Watermarking for Generative Adversarial Networks.

Vladislav Skripniuk, Ning Yu외 2명|arXiv (Cornell University)|2020. 07. 17.

Digital Media Forensic Detection참고 문헌 73인용 수 4

한 줄 요약

이 논문은 스테고그래피를 사용하여 훈련 데이터에 워터마크를 삽입함으로써 생성적 적대적 네트워크(GANs)에 대한 최초의 블랙박스 워터마킹 방법을 제안한다. 이 워터마크는 생성된 이미지로 전이되며, 모델 접근 없이 GAN API만을 통해 작동함으로써 높은 생성 품질, 이미지 변형에 대한 강건성, 스테고그래피 분석으로부터의 비밀성 확보를 보장한다.

ABSTRACT

As companies start using deep learning to provide value to their customers, the demand for solutions to protect the ownership of trained models becomes evident. Several watermarking approaches have been proposed for protecting discriminative models. However, rapid progress in the task of photorealistic image synthesis, boosted by Generative Adversarial Networks (GANs), raises an urgent need for extending protection to generative models. We propose the first watermarking solution for GAN models. We leverage steganography techniques to watermark GAN training dataset, transfer the watermark from the dataset to GAN models, and then verify the watermark from generated images. In the experiments, we show that the hidden encoding characteristic of steganography allows preserving generation quality and supports the watermark secrecy against steganalysis attacks. We validate that our watermark verification is robust in wide ranges against several image perturbations. Critically, our solution treats GAN models as an independent component: watermark embedding is agnostic to GAN details and watermark verification relies only on accessing the APIs of black-box GANs. We further extend our watermarking applications to generated image detection and attribution, which delivers a practical potential to facilitate forensics against deep fakes and responsibility tracking of GAN misuse.

연구 동기 및 목표

• 생성형 AI에서 모델 소유권 보호의 증가하는 수요를 충족시키기 위해, 특히 사진 수준의 현실감 있는 이미지 합성에 사용되는 GANs를 대상으로 한다.
• 이전에는 판별 모델에 적용된 워터마킹 기법을 생성 모델인 GANs와 같은 생성 모델로 확장하고자 한다.
• 모델의 내부 아키텍처를 알지 못해도 작동하는 블랙박스 환경에서 작동하는 솔루션을 설계하고자 한다.
• 비밀 워터마크를 삽입하면서도 이미지 생성 품질을 유지하고, 스테고그래피 분석으로부터 저항할 수 있도록 하되, 모델의 내부 정보가 필요로 하지 않도록 하자.
• 딥페이크 포렌식 및 GAN 생성 콘텐츠의 근원 추적과 같은 실용적 응용을 가능하게 하자.

제안 방법

• 스테고그래피 기법을 사용해 픽셀 값을 미세하게 수정함으로써 숨겨진 정보를 암호화하여 훈련 데이터 세트에 워터마크를 삽입한다.
• 워터마크가 포함된 데이터 세트로 GAN을 훈련시켜 워터마크가 생성기의 잠재 공간에 암묵적으로 학습되고 인코딩되도록 한다.
• 모델의 가중치나 아키텍처 정보 없이도 작동하는 공개 검증 함수를 사용해 생성된 이미지를 분석함으로써 워터마크를 검증한다.
• 스테고그래피의 본질적 강건성을 활용해 이미지 품질을 유지하고, 스테고그래피 분석 도구에 의한 탐지에 저항하도록 한다.
• 워터마크 삽입 및 검증 프로세스를 GAN 아키텍처에 종속되지 않게 설계하여 다양한 GAN 변종 간의 호환성을 확보한다.
• 모델의 가중치나 아키텍처 정보 없이도 GAN의 추론 API에만 접근 가능한 블랙박스 검증 프로토콜을 활용해 실세계 시스템에 실용적으로 구현할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 GAN의 훈련 데이터에 워터마크를 삽입할 수 있을까? 이 워터마크는 생성된 이미지에 그대로 유지되며, 이미지 품질에 눈에 띄는 영향을 주지 않을까?
• RQ2 압축, 크기 조정, 필터링과 같은 일반적인 이미지 변형에 대해 워터마크는 강건한가?
• RQ3 모델의 가중치나 내부 구조에 접근하지 않고도 API 수준의 추론만으로 워터마크를 검증할 수 있는가?
• RQ4 스테고그래피 기반 워터마킹 기법은 스테고그래피 분석 공격으로부터도 탐지되지 않을까?
• RQ5 이 워터마킹 기법은 딥페이크 탐지 및 GAN 오용에 대한 근원 추적과 같은 실용적 응용 사례를 지원할 수 있는가?

주요 결과

• 워터마크 삽입 기법은 높은 정밀도의 이미지 생성을 유지하며, 생성된 출력의 시각적 품질에 눈에 띄는 열화가 없음을 확인했다.
• 삽입된 워터마크는 JPEG 압축, 크기 조정, 노이즈 추가와 같은 다양한 이미지 변형에 걸쳐도 탐지 가능하게 유지된다.
• 워터마크는 스테고그래피 분석에 저항하여, 공격자가 이를 탐지하거나 제거하려 시도하더라도 비밀성이 유지된다.
• 모델의 가중치나 아키텍처 정보 없이도 GAN의 블랙박스 API만을 사용해 워터마크 검증이 강건하고 정확하게 수행된다.
• 이 방법은 효과적인 근원 추적과 GAN 생성 콘텐츠 탐지가 가능하게 하여 딥페이크에 대비한 포렌식 응용을 지원한다.
• 이 방법은 아키텍처에 종속되지 않아 다양한 GAN 변종에 수정 없이 적용 가능하다.