[논문 리뷰] On the Reliability of Watermarks for Large Language Models

John Kirchenbauer, Jonas Geiping외 8명|arXiv (Cornell University)|2023. 06. 07.

Topic Modeling인용 수 23

한 줄 요약

이 논문은 현실적인 편집, 의역, 혼합 문서를 포함한 대형 언어 모델의 워터마크 강인성을 평가하고, 더 많은 토큰이 관찰될수록 워터마크 탐지가 여전히 신뢰할 만하다는 것을 보여주며, 특정 시나리오에서 일부 대체 탐지기보다 우수함을 시사한다.

ABSTRACT

As LLMs become commonplace, machine-generated text has the potential to flood the internet with spam, social media bots, and valueless content. Watermarking is a simple and effective strategy for mitigating such harms by enabling the detection and documentation of LLM-generated text. Yet a crucial question remains: How reliable is watermarking in realistic settings in the wild? There, watermarked text may be modified to suit a user's needs, or entirely rewritten to avoid detection. We study the robustness of watermarked text after it is re-written by humans, paraphrased by a non-watermarked LLM, or mixed into a longer hand-written document. We find that watermarks remain detectable even after human and machine paraphrasing. While these attacks dilute the strength of the watermark, paraphrases are statistically likely to leak n-grams or even longer fragments of the original text, resulting in high-confidence detections when enough tokens are observed. For example, after strong human paraphrasing the watermark is detectable after observing 800 tokens on average, when setting a 1e-5 false positive rate. We also consider a range of new detection schemes that are sensitive to short spans of watermarked text embedded inside a large document, and we compare the robustness of watermarking to other kinds of detectors.

연구 동기 및 목표

• 인간 의역, 모델 의역, 긴 문서에의 복사-붙여넣기와 같은 현실적 손상에서 워터마크 강인성 평가.
• 공격에 따른 탐지 가능성 저하를 양적화하고 관찰된 토큰 길이에 따라 탐지 가능성이 어떻게 스케일하는지.
• 다양한 공격 시나리오에서 워터마킹과 대체 후처리(post-hoc) 및 검색 기반 탐지기 비교.
• 현장에서의 신뢰도 향상을 위한 개선된 해싱 스킴과 탐지 전략 제안 및 평가.

제안 방법

• 비밀 해시 파생 그린리스트로 표본 추출을 편향시키고 일부 토큰에 색상을 칠하는 조합적 워터마크 스킴을 설명한다.
• 맥락 폭 h와 다양한 f 매핑(Additive, Skip, Min)을 갖는 향상된 해싱 스킴(SelfHash, LeftHash)을 도입하고 비교한다.
• 긴 문서 내에서 신호가 높은 구간을 찾기 위한 윈도 기반 탐지 테스트(WinMax)를 개발한다.
• 토큰 길이 체계에 걸친 인간 의역자, GPT-3.5-turbo, Dipper에 대한 의역, 긴 문서의 복사-붙여넣기에 대한 강인성 평가.
• 공격하에서 상대적 신뢰성을 평가하기 위해 검색 기반 탐지와 DetectGPT와의 벤치마크.

실험 결과

연구 질문

• RQ1 모델에 의해 의역되거나 인간에 의해 재작성될 때 워터마크 탐지는 얼마나 강건한가?
• RQ2 워터마크가 포함된 텍스트가 더 길고 비워터마크 문서에 삽입되는(복사-붙여넣기 시나리오) 상황에서도 탐지가 신뢰할 수 있는가?
• RQ3 현실적 공격하에서 서로 다른 해싱 스킴과 맥락 폭이 워터마크의 신뢰성과 텍스트 품질에 어떤 영향을 미치는가?
• RQ4 다양한 공격 유형에서 워터마킹과 다른 탐지기(검색 기반, 후처리, DetectGPT)의 비교는?
• RQ5 관찰된 토큰 수와 공격하에서의 탐지기 성능 간의 관계는?

주요 결과

• 인간 및 기계 의역 후에도 워터마크는 탐지 가능하며; ROC-AUC > 0.85 at T=200 and > 0.9 at T=600 under paraphrasing attacks.
• 복사-붙여넣기 시나리오에서 600-token 구간에 워터마크 토큰 150개를 포함하면, AUC는 0.95를 넘는다.
• 인간 의역 공격하에서 약 800 토큰 후에 탐지 가능하며, 허용 오차율은 1e-5이다.
• 워터마킹은 샘플 복잡도와 강건성 면에서 손실 기반 탐지 및 검색 방법에 비해 우수하며, 특히 더 긴 시퀀스에서 그렇다.
• WinMax 윈도우 기반 탐지는 긴 문서에서 워터마크 구간의 위치 추정에 도움을 주며, 탐지 강도는 관찰된 토큰 수에 비례해 증가한다.