[논문 리뷰] Provable Robust Watermarking for AI-Generated Text

Xuandong Zhao, Prabhanjan Ananth외 2명|arXiv (Cornell University)|2023. 06. 30.

Generative Adversarial Networks and Image Synthesis인용 수 16

한 줄 요약

이 논문은 생성 AI 텍스트에 대해 생성 품질을 유지하면서 신뢰할 수 있는 탐지와 편집 및 바꿔 쓰기 공격에 대한 강한 저항성을 갖춘 증명 가능한 강건성 워터마킹 방법인 Unigram-Watermark를 도입하며, 형식적 보장과 실증적 검증을 제공합니다.

ABSTRACT

We study the problem of watermarking large language models (LLMs) generated text -- one of the most promising approaches for addressing the safety challenges of LLM usage. In this paper, we propose a rigorous theoretical framework to quantify the effectiveness and robustness of LLM watermarks. We propose a robust and high-quality watermark method, Unigram-Watermark, by extending an existing approach with a simplified fixed grouping strategy. We prove that our watermark method enjoys guaranteed generation quality, correctness in watermark detection, and is robust against text editing and paraphrasing. Experiments on three varying LLMs and two datasets verify that our Unigram-Watermark achieves superior detection accuracy and comparable generation quality in perplexity, thus promoting the responsible use of LLMs. Code is available at https://github.com/XuandongZhao/Unigram-Watermark.

연구 동기 및 목표

• 워터마크 효과성, 정확성, 그리고 포스트프로세싱에 대한 강건성을 정량화하기 위한 엄밀한 프레임워크를 형식화한다.
• 고정된 녹색/빨강 나눔으로 간단하고 강건한 워터마킹 스킴으로 Unigram-Watermark (K=1)를 제안한다.
• 텍스트 길이에 따른 Type I/II 오류의 지수적 감소와 품질 보장을 입증한다.
• 편집 및 바꿔 쓰기에 대한 이론적 및 실증적 지원과 함께 강건성 보장을 보여준다.
• 여러 모델과 데이터셋에 걸친 실용적 유효성을 입증한다.

제안 방법

• 고정된 녹색 목록과 녹색 토큰의 로짓 시프트 델타를 사용한 워터마크 정의 및 탐지 알고리즘을 제시한다.
• 녹색 목록 토큰의 개수를 이용한 z-통계로 워터마크화된 텍스트를 결정한다.
• 배포 변화에 대한 Renyi-다이버런스 경계, Type I/II 오류 경계, 포스트프로세싱에 대한 보안을 포함한 증명 가능한 보장을 제공한다.
• 워터마크가 적용된 출력의 품질 ω와 편집에 대한 강건성을 이론적 정리에 의해 입증한다.
• 이전의 소프트 워터마크와 Unigram-Watermark를 비교하여 공격하에 더 우수한 강건성을 보임을 보인다.
• OpenGen과 LFQA 데이터셋에서 GPT2-XL, OPT-1.3B, LLaMA-7B를 대상으로 탐지 성능과 생성 품질을 실험한다.

실험 결과

연구 질문

• RQ1 단어 하나를 기반으로 한 워터마크가 탐지 정확도 및 편집에 대한 강건성에 대해 증명 가능한 보장을 제공할 수 있는가?
• RQ2 다양한 모델과 데이터셋에서 워터마크 강도, 탐지 능력, 텍스트 품질 사이의 정량적 트레이드오프는 무엇인가?
• RQ3 Unigram-Watermark가 바꿔 쓰기 및 페러프레이징 공격 하에서 이전 워터마크 스킴과 비교하여 어떤 차이가 있는가?
• RQ4 텍스트 길이가 증가함에 따라 Type I 및 Type II 오류율이 감소하는 조건은 무엇인가?
• RQ5 일반적인 포스트프로세싱 공격에 대해 워터마크의 강건성이 유지되면서도 생성 품질이 보존되는가?

주요 결과

데이터셋	방법	1% FPR TPR	1% FPR F1	10% FPR TPR	10% FPR F1
OpenGen	KGW+23	1.000	0.995	1.000	0.952
OpenGen	Unigram-Watermark	1.000	0.995	1.000	0.952
LFQA	KGW+23	1.000	0.995	1.000	0.952
LFQA	Unigram-Watermark	1.000	0.952	1.000	0.952

• Unigram-Watermark는 OpenGen 및 LFQA에서 공격 없이도 1% 및 10% 거짓 양성률에서 TPR이 거의 완벽하거나 매우 높은 수준으로 탐지를 달성한다(1.000, 0.995, 1.000, 0.952).
• 패러프레이즈 및 편집 공격 하에서도 Unigram-Watermark는 다수의 모델에서 KGW+23를 지속적으로 능가하며 높은 탐지율을 유지한다.
• 워터마크가 적용된 텍스트의 혼란도(perplexity)가 인간 생성 텍스트에 근접하여 생성 품질이 유지됨을 시사한다.
• 이론적 보장은 워터마크 분포와 원본 분포 간의 Renyi-다이버런스가 델타에 의해 엄격하게 한정되어 ω-품질을 보장한다.
• 텍스트 길이가 증가함에 따라 임의의 알파를 기준으로 임계값 보정으로 Type I 오류를 제어할 수 있으며 지수적으로 감소한다.
• 편집에 대한 보안 결과는 z-점수가 경계 편집에서만 약간만 변하는 등 이전 연구에 비해 강력한 강건성을 보여준다.