[논문 리뷰] Catch You Everything Everywhere: Guarding Textual Inversion via Concept Watermarking

Weitao Feng, Jiyan He외 5명|arXiv (Cornell University)|2023. 09. 12.

Advanced Steganography and Watermarking TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 확산 샘플링 루프 내에서 워터마크 인코더와 디코더를 공동으로 훈련시켜 개인화된 텍스트-이미지 개념에 고유한 워터마크를 삽입하는 텍스트 인버전을 위한 개념 워터마킹을 제안한다. 이 방법은 다양한 왜곡과 샘플링 설정에서도 강력한 워터마크 추출을 가능하게 하며, 내성 테스트에서 98.0%의 성공률과 0.3%의 비트 오류율(BER)을 달성한다. 또한 실용적 사용을 위해 시각적 정밀도와 편집 가능성도 유지한다.

ABSTRACT

AIGC (AI-Generated Content) has achieved tremendous success in many applications such as text-to-image tasks, where the model can generate high-quality images with diverse prompts, namely, different descriptions in natural languages. More surprisingly, the emerging personalization techniques even succeed in describing unseen concepts with only a few personal images as references, and there have been some commercial platforms for sharing the valuable personalized concept. However, such an advanced technique also introduces a severe threat, where malicious users can misuse the target concept to generate highly-realistic illegal images. Therefore, it becomes necessary for the platform to trace malicious users and hold them accountable. In this paper, we focus on guarding the most popular lightweight personalization model, ie, Textual Inversion (TI). To achieve it, we propose the novel concept watermarking, where watermark information is embedded into the target concept and then extracted from generated images based on the watermarked concept. Specifically, we jointly train a watermark encoder and a watermark decoder with the sampler in the loop. It shows great resilience to different diffusion sampling processes possibly chosen by malicious users, meanwhile preserving utility for normal use. In practice, the concept owner can upload his concept with different watermarks (ie, serial numbers) to the platform, and the platform allocates different users with different serial numbers for subsequent tracing and forensics.

연구 동기 및 목표

• AI 생성 콘텐츠의 오남용 위험, 특히 개인화된 개념을 이용한 무단 상업적 이용이나 오해를 낳는 이미지 제작 증가에 대응하기 위해.
• 텍스트 인버전 모델의 개념 임베딩에 직접 추적 가능한 정보를 삽입할 수 있는 워터마킹 메커니즘을 개발하기 위해.
• 다양한 확산 샘플링 과정, 후처리 왜곡, 적응형 공격에 대해 워터마크가 유지되는 강건성을 확보하기 위해.
• 합법적 사용을 위한 원본 기능, 즉 시각적 정밀도와 텍스트 편집 가능성의 유지 보장을 위해.
• 개념 소유자가 고유 일련번호가 부여된 워터마크 버전을 업로드할 수 있도록 하여 사용자 수준의 소유권 추적을 가능하게 하기 위해.

제안 방법

• 워터마크 인코더와 디코더가 확산 샘플러와 함께 루프 내에서 훈련되도록 공동 훈련 프레임워크를 제안하여 엔드 투 엔드 워터마크 삽입 및 추출을 가능하게 한다.
• 워터마크 인코더는 텍스트 인버전 훈련 중에 가속 가능한 토큰 기반 표현 방식을 사용하여 일련번호 정보를 개념 임베딩에 삽입한다.
• 워터마크 디코더는 동일한 개념 임베딩을 사용하여 생성된 이미지에서 삽입된 정보를 추출함으로써 일련번호 식별을 통한 사용자 추적을 가능하게 한다.
• 사전 처리 왜곡(예: 가우시안 노이즈, 크기 조정)에 대한 강건성을 향상시키기 위해 대trastive 손실을 훈련 과정에 통합한다.
• 다양한 후처리 왜곡(예: JPEG 압축, 블러, 색상 왜곡)을 사용한 강건성 미세조정을 적용하여 내성 향상을 도모한다.
• 트레이닝 안정성 향상과 워터마크 검출 성능 향상을 위해 최대 3단계까지의 다중 역전파 기반 기울기 백프로파게이션을 사용한다.

실험 결과

연구 질문

• RQ1 다른 확산 샘플링 과정과 후처리 왜곡 조건에서도 검출 가능한 워터마크를 텍스트 인버전 개념에 삽입할 수 있는가?
• RQ2 제안된 방법은 합법적 사용을 위한 원본 개념의 시각적 품질과 편집 가능성 유지에 효과적인가?
• RQ3 워터마크를 제거하거나 위조하려는 적응형 공격 상황에서 워터마킹 기법의 효과는 어떠한가?
• RQ4 대trastive 손실과 강건성 미세조정과 같은 아키텍처 구성 요소가 워터마크 내성에 미치는 영향은 무엇인가?
• RQ5 성능에 영향을 주지 않으면서 고유 일련번호를 사용한 스케일러블 사용자 추적을 지원할 수 있는가?

주요 결과

• 제안된 개념 워터마킹은 표준 조건 하에서 98.0%의 성공률(SR)과 0.3%의 비트 오류율(BER)을 달성하여 높은 신뢰성을 입증한다.
• 후처리 왜곡에 대해 강력한 내성을 유지하며, 가우시안 노이즈 하에서 미세조정 없이 BER이 16.8%에서 미세조정 후 3.5%로 감소하고, JPEG 압축 하에서는 0.5%에서 0.1%로 감소한다.
• 대trastive 손실 도입으로 크기 조정 상황에서 BER이 13.7%에서 3.5%로 감소하고, 이미지 스무딩 상황에서 22.3%에서 4.3%로 감소하여 사전 처리 내성 향상이著명하다.
• 기울기 역전파 단계를 1단계에서 3단계로 증가시킬 경우 BER은 13.0%에서 0.3%로 감소하고, 성공률(SR)은 23.0%에서 98.0%로 상승하여 깊이 있는 최적화가 검출 정확도 향상에 기여함을 시사한다.
• 8비트 워터마킹 인코딩을 통해 97.4%의 성공률을 달성하며, 일련번호 할당을 통해 최대 255명의 고유 사용자를 지원한다.
• 제거 실험을 통한 분석 결과, 강건성 미세조정과 대trastive 손실이 적대적 및 실제 세계 왜곡 조건에서도 성능 유지에 필수적임을 확인한다.