[논문 리뷰] A Watermark for Large Language Models

John Kirchenbauer, Jonas Geiping외 4명|arXiv (Cornell University)|2023. 01. 24.

Topic Modeling인용 수 113

한 줄 요약

논문은 모델 접근 없이도 짧은 텍스트 구간에서 탐지 가능한 LLM 출력에 대한 확률적 watermarking 프레임워크를 제안하며, green/red token scheme과 통계적 검정을 사용하고, 워터마크의 강건성과 텍스트 품질에 미치는 영향을 분석한다.

ABSTRACT

Potential harms of large language models can be mitigated by watermarking model output, i.e., embedding signals into generated text that are invisible to humans but algorithmically detectable from a short span of tokens. We propose a watermarking framework for proprietary language models. The watermark can be embedded with negligible impact on text quality, and can be detected using an efficient open-source algorithm without access to the language model API or parameters. The watermark works by selecting a randomized set of "green" tokens before a word is generated, and then softly promoting use of green tokens during sampling. We propose a statistical test for detecting the watermark with interpretable p-values, and derive an information-theoretic framework for analyzing the sensitivity of the watermark. We test the watermark using a multi-billion parameter model from the Open Pretrained Transformer (OPT) family, and discuss robustness and security.

연구 동기 및 목표

• 감지 가능한 AI 생성 텍스트의 해를 동기에 대해 고찰하고 auditable 탐지의 필요성을 제시한다.
• 모델 접근이나 재훈련 없이 워터마킹 프레임워크를 도입한다.
• 워터마크의 존재를 해석 가능한 p-값으로 제공하는 통계적 탐지 방법을 개발한다.
• 워터마크의 정보 이론적 민감도와 공격에 대한 강인성을 분석한다.

제안 방법

• green/red token partition을 정의하고 하드(Algorithm 1) 또는 소프트(Algorithm 2) 워터마킹 규칙을 적용한다.
• 이전 토큰의 해시로 파티션을 시드화하여 모델 접근 없이 규칙을 재현한다.
• 샘플링 분포를 조정하여 green tokens의 확률을 높이거나(soft) red tokens를 금지한다(hard).
• 텍스트 창에서 green token 수를 이용한 one-proportion z-test로 워터마크를 탐지한다(H0: 워터마크 없음).
• 규칙을 은폐하기 위한 PRF를 활용한 private 워터마크 variant를 제공하고 공격 저항성 및 API 고려사항을 논의한다.
• 이론적 분석은 워터마크 매개변수를 spike entropy와 도출된 경계(bound)로 검출력과 연결한다(정리 4.2, 정리 4.3).

실험 결과

연구 질문

• RQ1 재훈련이나 모델 접근 없이 LLM 출력에 워터마크를 삽입하고 제3자가 신뢰성 있게 탐지할 수 있는가?
• RQ2 다양한 디코딩 전략(다항식 multinomial, 그리디, 빔 탐색)에서 워터마크의 탐지력과 거짓 양성률은 어떠한가?
• RQ3 텍스트 엔트로피가 워터마크 탐지 민감도와 샘플 효율에 어떤 영향을 미치는가?
• RQ4 워터마크는 적대적 토큰 수정을 받거나 비공개 키(API) 구현에 대해 얼마나 robust한가?

주요 결과

• 간단한 하드 레드-리스트 워터마크는 16개 토큰에서부터 one-proportion z-test로 탐지 가능하며 z>4일 때 거짓 양성률은 약 3e-5이다.
• 소프트 워터마크는 고엔트로피 구간에서 green token 집합 방향으로 확률을 높이며 perplexity에 미치는 영향은 제한적이고 탐지 민감도는 텍스트 엔트로피에 따라 증가한다.
• OPT-1.3B/OPT-2.7B 실험에서 다항식 및 빔 탐색 디코딩하에서 z>4일 때 98.4-99.6%의 실험적 민감도 같은 높은 탐지율을 보인다.
• 프레임워크는 모델 접근 없이 탐지를 유지하고, 공개 또는 비공개 배포를 지원하며, 특정 공격 전략에 대해 강건성을 유지하지만, 낮은 엔트로피의 암기된 텍스트 상황에서의 한계를 지적한다.