[논문 리뷰] Unbiased Watermark for Large Language Models

Zhengmian Hu, Lichang Chen외 4명|arXiv (Cornell University)|2023. 09. 22.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델을 위한 편향 없는 워터마킹 방법을 제안하며, 워터마킹이 모델의 확률 분포를 변경하지 않음으로써 출력 품질을 유지한다. δ-reweight 및 γ-reweight 기법을 사용하여 탐지 불가능한 워터마킹을 구현함으로써, 서비스 제공자가 성능 저하 없이 모델 출력을 추적할 수 있다.

ABSTRACT

The recent advancements in large language models (LLMs) have sparked a growing apprehension regarding the potential misuse. One approach to mitigating this risk is to incorporate watermarking techniques into LLMs, allowing for the tracking and attribution of model outputs. This study examines a crucial aspect of watermarking: how significantly watermarks impact the quality of model-generated outputs. Previous studies have suggested a trade-off between watermark strength and output quality. However, our research demonstrates that it is possible to integrate watermarks without affecting the output probability distribution with appropriate implementation. We refer to this type of watermark as an unbiased watermark. This has significant implications for the use of LLMs, as it becomes impossible for users to discern whether a service provider has incorporated watermarks or not. Furthermore, the presence of watermarks does not compromise the performance of the model in downstream tasks, ensuring that the overall utility of the language model is preserved. Our findings contribute to the ongoing discussion around responsible AI development, suggesting that unbiased watermarks can serve as an effective means of tracking and attributing model outputs without sacrificing output quality.

연구 동기 및 목표

• 대규모 언어 모델에서 워터마킹 강도와 출력 품질 사이의 장기적인 상충 관계를 해결하기 위해.
• 사용자는 탐지할 수 없지만 서비스 제공자는 신뢰성 있게 탐지할 수 있는 워터마킹 체계를 개발하기 위해.
• 워터마킹이 번역 및 요약과 같은 후행 작업에서 모델 성능을 저하시키지 않도록 보장하기 위해.
• 편향 없는 워터마킹을 설계하고 탐지하기 위한 이론적으로 탄탄한 프레임워크를 제공하기 위해.
• 워터마킹이 본질적으로 출력 품질이나 탐지 가능성에 악영향을 미친다는 가정을 도전하기 위해.

제안 방법

• 사용자 비밀 키를 사용해 모델의 출력 로짓을 재가중하는 기반으로, 출력 확률 분포가 그대로 유지되도록 하는 새로운 워터마킹 프레임워크를 제안한다.
• 원래 분포를 유지하면서 워터마킹을 통합하는 방식으로, 토큰 확률을 수정하는 δ-reweight 및 γ-reweight 기법을 도입한다.
• 과거 컨텍스트 코드를 저장하여 다중 생성 간 탐지 가능성을 방지하는 n-shot-undetectability를 달성하기 위해 컨텍스트 코드 기록 메커니즘을 활용한다.
• 유형 I 오류(거짓 긍정률)에 대한 이론적 상한을 제공하는 로그우도비 검정의 최대최소 변형을 개발하여 탐지 신뢰도를 높인다.
• 사용자 비밀 키를 사용해 워터마킹 삽입 과정을 제어함으로써, 오직 승인된 당사자만 워터마킹을 탐지할 수 있도록 보장한다.
• 다음 토큰의 확률 분포를 컨텍스트와 키에 조건부로 설정함으로써, 자동재귀적 생성 중에 워터마킹을 적용한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델에 워터마킹을 구현할 수 있을까? 이때 생성된 텍스트의 품질이 떨어지지 않는가?
• RQ2 사용자에게 탐지되지 않지만 서비스 제공자는 신뢰성 있게 탐지할 수 있는 워터마킹을 설계할 수 있는가?
• RQ3 출력 확률 분포를 유지하는 워터마킹이 워터마킹 강도와 텍스트 품질 사이의 상충 관계를 제거할 수 있는가?
• RQ4 제안된 워터마킹 방법이 기계 번역 및 텍스트 요약과 같은 후행 NLP 작업에서 성능을 유지할 수 있는가?
• RQ5 적대적 조건 하에서 워터마킹 탐지에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 제안된 편향 없는 워터마킹 방법은 원래 출력 확률 분포를 유지하여 텍스트 품질에 영향을 주지 않는다.
• 광범위한 실험 결과에 따르면, δ-reweight 및 γ-reweight 기법은 기계 번역 및 텍스트 요약 작업에서 뛰어난 성능을 유지한다.
• 사용자 비밀 키 없이 워터마킹을 탐지할 수 없으며, 출력 분포가 원본 모델과 통계적으로 동일하기 때문이다.
• 최대최소 탐지 방법은 유형 I 오류에 대한 이론적 상한을 제공하여 신뢰도를 높이고 거짓 긍정률을 감소시킨다.
• 이 방법은 공정성이나 사용성에 손상 없이 모델 생성 콘텐츠의 완전한 추적 가능성을 보장한다.
• 이 방법은 랜덤 치환 공격에 강건하지만, 어조 변형과 같은 더 복잡한 공격에 대한 강건성은 검증되지 않았다.