[논문 리뷰] Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

Yuxin Wen, John Kirchenbauer외 2명|arXiv (Cornell University)|2023. 05. 31.

Generative Adversarial Networks and Image Synthesis인용 수 16

한 줄 요약

Tree-Ring Watermarking이 Fourier 공간의 초기 잡음을 통해 모델 지문을 확산 샘플링 프로세스에 은밀하게 삽입하고, 이미지 수정 없이도 보이지 않는 강건한 탐지를 가능하게 한다. 워터마크는 확산 역산을 통해 잡음을 복구하고 삽입된 키를 검증함으로써 일반적 변환 하에서도 탐지가 유지된다.

ABSTRACT

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at https://github.com/YuxinWenRick/tree-ring-watermark.

연구 동기 및 목표

• 확산 생성 콘텐츠의 워터마킹 필요성을 제시하여 악용 저지 및 원본 추적 가능성을 높인다.
• 이미지 편집이 아닌 샘플링 분포 자체를 subtly 바꿔 워터마킹하는 학습 없는 방법을 제안한다.
• 확산 과정을 역산하여 초기 잡음을 회복하고 Fourier 공간 키를 검사하는 견고한 탐지 메커니즘을 개발한다.
• 임의의 확산 모델과의 호환성을 입증하고 일반적 변환에서의 강건성을 최소한의 품질 손실로 평가한다.

제안 방법

• 초기 확산 잡음 x_T의 푸리에 변환에 이진 키 패턴을 내포하고 원형 마스크 M을 사용해 저주파 성분을 워터마크 키로 배치한다.
• 워터마크가 적용된 이미지 x_0'에서 DDIM 역산을 사용해 근사 초기 잡음 x_T'를 복구하고, M 내의 F(x_T')를 검사해 키를 탐지한다.
• 통계적 검정 정의: eta = (1/σ^2) sum_{i in M} |k_i^* - y_i|^2로 계산하고 y = F(x_T')이고 가설 H0 하에서 y ~ N(0, σ^2 I_C)로 가정하며 비중심 χ^2 누적분포가 작은 p값을 주면 워터마크로 선언한다.
• 세 가지 핵심 키 유형 제시: Tree-Ring_Zeros(제로가 있는 원형 마스크), Tree-Ring_Rand(가우시안 키), Tree-Ring_Rings(상수값 링).
• 탐지 임계값 tau를 보정하여 위양성 비율을 제어하고, 공격 및 매개변수 차등효과(반지름 r, 샘플링 스텝 수, 가이던스 스케일)에서의 강건성을 분석한다.
• Stable Diffusion v2와 256x256 ImageNet 확산 모델에서 평가하고 baselines DwtDct, DwtDctSvd, RivaGAN과 비교한다.

실험 결과

연구 질문

• RQ1 확산 모델의 출력물을 이미지에 대한 후처리 편집 없이 샘플링 분포 자체를 바꿔 워터마킹할 수 있는가?
• RQ2 푸리에 공간의 노이즈 키가 회전, 잘라내기, 팽창 등 일반적인 이미지 변환에 대해 얼마나 강건한가?
• RQ3 다양한 워터마크 패턴 및 생성/탐지 구성에서 탐지 가능한 신호 강도와 위양성 동작은 어떠한가?
• RQ4 이 워터마크가 탐지 가능성을 유지하면서 이미지 충실도(FID/CLIP)를 보존하는가?

주요 결과

• Tree-Ring 워터마크는 링즈(Rings) 및 Rand 변형에서 깨끗한 설정과 악의적 설정 모두에서 거의 완벽한 탐지 가능도(AUC/TPR@1%FPR가 종종 1.000)를 달성한다.
• 워터마크가 적용된 이미지가 기준값에 비해 FID 및 CLIP 점수의 저하가 거의 없으면서도 변환 하에서 견고한 탐지를 제공한다.
• 적대적 증강 하에서 Rings 패턴이 평균적 강건성에서 최상의 성능을 제공하며 Rand와 Zeros는 많은 경우에 강력한 성능을 보인다.
• 생성/탐지 스텝 수가 달라져도 탐지가 유지되며, 더 높은 가이던스 스케일이 탐지 가능성을 제거하지 않는다.
• 사후 편집 기준선(DwtDct, DwtDctSvd) 및 GAN 기반 워터마크(RivaGAN)과 비교할 때 Tree-Ring 변형은 더 나은 강건성을 제공하고 학습 없이도 샘플 수준에서 진정한 보이지 않음으로 나타난다.
• 보정된 p-value 기반 탐지기는 제어 가능한 위양성률로 해석 가능한 증거를 제공한다.