[논문 리뷰] The Stable Signature: Rooting Watermarks in Latent Diffusion Models

Pierre Fernandez, Guillaume Couairon외 3명|arXiv (Cornell University)|2023. 03. 27.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 잠재 확산 모델(LDM)에 직접적으로 유저가 인지할 수 없는 워터마크를 삽입하기 위해 이진 서명을 사용하여 잠재 디코더만 미세조정하는 Stable Signature 방법을 제안한다. 이 방법은 자르기, 크기 조정, 편집 후에도 강력하고 효율적이며 안전하게 AI 생성 이미지를 탐지할 수 있으며, 10⁻⁶ 이하의 거짓 양성률을 기록하면서 90% 이상의 탐지 정확도를 달성한다.

ABSTRACT

Generative image modeling enables a wide range of applications but raises ethical concerns about responsible deployment. This paper introduces an active strategy combining image watermarking and Latent Diffusion Models. The goal is for all generated images to conceal an invisible watermark allowing for future detection and/or identification. The method quickly fine-tunes the latent decoder of the image generator, conditioned on a binary signature. A pre-trained watermark extractor recovers the hidden signature from any generated image and a statistical test then determines whether it comes from the generative model. We evaluate the invisibility and robustness of the watermarks on a variety of generation tasks, showing that Stable Signature works even after the images are modified. For instance, it detects the origin of an image generated from a text prompt, then cropped to keep $10\%$ of the content, with $90$+$\%$ accuracy at a false positive rate below 10$^{-6}$.

연구 동기 및 목표

• AI 생성 이미지의 진위성에 대한 윤리적 우려를 해결하기 위해 신뢰할 수 있는 AI 생성 이미지 탐지 기능을 제공하기 위해.
• 모델이 오픈소스화될 경우 쉽게 제거될 수 있는 후행적 워터마킹 기법의 한계를 극복하기 위해.
• 아키텍처 변경 없이도 생성 과정에 워터마킹을 내재적으로 통합하고 성능 저하 없이 구현하기 위해.
• 자르기, 크기 조정, 편집과 같은 실제 이미지 변형에 대해 워터마크의 강건성을 확보하기 위해.
• 모델 제공자 및 콘텐츠 플랫폼이 AI 생성 콘텐츠를 추적하고 모니터링할 수 있도록 안전하고 효율적이며 호환 가능한 솔루션을 제공하기 위해.

제안 방법

• 감각적 손실과 워터마크 추출기에서 유도된 숨겨진 메시지 손실을 조합하여 사전 학습된 LDM의 잠재 디코더만 미세조정한다.
• 간소화된 HiDDeN 방법에 기반한 사전 학습된 워터마크 추출기를 사용하여 생성된 이미지에서 임bedded된 이진 서명을 복원한다.
• 비트 분포가 i.i.d. 베르누이 분포에 더 가까워지도록 워터마크 추출기의 출력에 화이트닝을 적용하여 통계적 신뢰도를 향상시킨다.
• 실제 이미지의 일부 집합에서 워터마크 추출기를 학습하여, 워터마크가 삽입되지 않은 이미지에서 추출된 메시지가 무작위와 통계적으로 구분되지 않도록 보장한다.
• 해밍 거리 기반으로 추출된 메시지와 기대 메시지 간의 거리를 기반으로 임계값을 사용한 통계적 검정을 통해 생성된 이미지에 워터마크가 포함되어 있는지 여부를 판단한다.
• 백프로파게이션을 통한 엔드 투 엔드 학습을 수행하여 생성 과정 중에 서명을 삽입함으로써 이미지 품질과 FID 점수를 유지한다.

Figure 1: Overview. The latent decoder can be fine-tuned to preemptively embed a signature into all generated images.

실험 결과

연구 질문

• RQ1 아키텍처나 확산 과정을 수정하지 않고도 워터마킹을 잠재 확산 모델 생성 과정에 원활하게 통합할 수 있는가?
• RQ2 자르기, 크기 조정, 인painting과 같은 일반적인 이미지 변형에 대해 워터마크의 강건성은 어떠한가?
• RQ3 매우 낮은 거짓 양성률을 유지하면서도 높은 정확도로 워터마크를 탐지할 수 있는가?
• RQ4 워터마킹 과정이 생성된 이미지의 감각적 품질이나 FID 점수에 악영향을 미치는가?
• RQ5 후행적 워터마킹 기법에 비해 제안된 방법은 보안성과 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 이미지가 원본 크기의 10%로 자르더라도 90% 이상의 탐지 정확도를 기록하며, 거짓 양성률은 10⁻⁶ 이하로 유지된다.
• 인painting 및 슈퍼레졸루션과 같은 복잡한 편집 조건에서도 워터마크가 강건하게 유지되며, 도전적인 상황에서도 무작위 확률을 크게 초월하는 비트 정확도를 확보한다.
• 워터마킹 이후 생성된 이미지의 FID 점수는 변화가 없어 이미지 품질에 영향을 주지 않음을 확인한다.
• 워터마크 추출기의 이론적 및 실측 거짓 양성률이 거의 완벽하게 일치하여 통계 모델의 정확성을 검증한다.
• 계산적으로 효율적이며, 텍스트에서 이미지 생성, 인painting, 이미지 편집 등 다양한 LDM 기반 응용 분야와 호환된다.
• 모델이 오픈소스화되어도 재학습 없이 워터마크를 제거할 수 없기 때문에, 후행적 워터마킹보다 보안성이 뛰어나다.

Figure 2: Steps of the method. (a) We pre-train a watermark encoder $\mathcal{W}_{E}$ and extractor $\mathcal{W}$ , to extract binary messages. (b) We fine-tune the decoder $\mathcal{D}$ of the LDM’s auto-encoder with a fixed signature $m$ such that all the generated images (c) lead to $m$ through $