[논문 리뷰] An Unforgeable Publicly Verifiable Watermark for Large Language Models

Aiwei Liu, Leyi Pan외 5명|arXiv (Cornell University)|2023. 07. 30.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델을 위한 첫 번째 위조 불가능하고 공개적으로 검증 가능한 워터마킹 기법을 제안한다. 이 기법은 별도의 신경망을 사용해 워터마킹 생성과 검출을 분리하면서도 토큰 임베딩을 공유하여 검출 효율성을 향상시킨다. 이 방법은 기밀 키가 필요 없이 거의 완벽한 검출 F1 스코어(~99%)를 달성하며, 검출 네트워크를 뒤집는 데 있어 계산적 비대칭성 덕분에 위조 시도에 강력한 저항성을 보인다.

ABSTRACT

Recently, text watermarking algorithms for large language models (LLMs) have been proposed to mitigate the potential harms of text generated by LLMs, including fake news and copyright issues. However, current watermark detection algorithms require the secret key used in the watermark generation process, making them susceptible to security breaches and counterfeiting during public detection. To address this limitation, we propose an unforgeable publicly verifiable watermark algorithm named UPV that uses two different neural networks for watermark generation and detection, instead of using the same key at both stages. Meanwhile, the token embedding parameters are shared between the generation and detection networks, which makes the detection network achieve a high accuracy very efficiently. Experiments demonstrate that our algorithm attains high detection accuracy and computational efficiency through neural networks. Subsequent analysis confirms the high complexity involved in forging the watermark from the detection network. Our code is available at \href{https://github.com/THU-BPM/unforgeable_watermark}{https://github.com/THU-BPM/unforgeable\_watermark}. Additionally, our algorithm could also be accessed through MarkLLM \citep{pan2024markllm} \footnote{https://github.com/THU-BPM/MarkLLM}.

연구 동기 및 목표

• 기존 워터마킹 기법이 기밀 키에 의존하여 공개 검출 환경에서 유출 및 악용될 수 있는 취약성을 해결하기 위해.
• 기밀성과 위조 불가능성을 훼손하지 않으면서도 공개 검증이 가능한 워터마킹 시스템을 설계하기 위해.
• 생성 및 검출 네트워크 간 토큰 임베딩 파rameter를 공유하여 검출 정확도를 향상시키고 학습 비용을 최소화하기 위해.
• 실제 조건에서 검출 네트워크로부터 워터마킹 규칙을 역으로 추출하는 것이 계산적으로 불가능하다는 것을 경험적으로 입증하기 위해.
• 높은 텍스트 품질을 유지하면서도 강력한 검출 성능과 일반적인 공격 전략에 대한 내성성을 확보하기 위해.

제안 방법

• 워터마킹 생성기는 LLM의 로짓을 기반으로 윈도우 크기 $ w $ 의 슬라이딩 윈도우에서 마지막 토큰에 대한 워터마킹 신호를 예측하기 위해 작은 신경망을 사용한다.
• 워터마킹 검출기는 전체 시퀀스를 입력으로 받아 워터마킹 존재 여부를 이진 결정하는 별도의 경량 신경망을 사용한다.
• 생성 및 검출 네트워크 간 토큰 임베딩 파ram터를 공유하여 사전 지식을 제공하고, 최소한의 학습 비용으로도 검출 정확도를 향상시킨다.
• 워터마킹 신호는 학습된 z-스코어 기반 메커니즘을 사용해 특정 토큰의 로짓을 조정함으로써 삽입되며, 워터마킹 레이블은 토큰 확률의 z-스코어에 대한 임계값에 의해 결정된다.
• 계산적 비대칭성을 활용한다: 검출 네트워크로부터 생성 네트워크를 학습하는 것은 반대로 하는 것보다 훨씬 어렵기 때문에 위조가 불가능하다.
• 워터마킹 강도를 제어하기 위해 파rameter $ \ u $ 를 사용하며, 이는 검출 성능와 텍스트 품질(퍼플렉서티로 측정) 사이의 균형을 맞춘다.

Figure 1: The left segment outlines the token logits generation process of the watermarked language model. Initially, the origin model generates token logits; these are then refined by the watermark generator to increase the probability of watermarked tokens (denoted in green). Operating within a pr

실험 결과

연구 질문

• RQ1 기밀 키를暴露하지 않고도 공개 검증이 가능한 워터마킹 기법을 설계할 수 있는가?
• RQ2 공개적으로 이용 가능한 검출 모델에서 워터마킹 규칙을 역으로 추출하는 것은 계산적으로 불가능한가?
• RQ3 생성 및 검출 네트워크 간 공유된 임베딩 메커니즘이 위조 불가능성을 훼손하지 않으면서도 검출 정확도를 향상시킬 수 있는가?
• RQ4 역방향 훈련이나 단어 빈도 분석과 같은 일반적인 공격 전략에 대해 워터마킹 기법은 어떻게 성능을 보이는가?
• RQ5 워터마킹 강도 파rameter $ \ u $ 의 함수로서 워터마킹 검출 성능와 생성 텍스트의 품질(예: 퍼플렉서티) 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 워터마킹 검출 네트워크는 거의 99%의 F1 스코어를 달성하여 기밀 키 기반 검출 방법의 이론적 상한선과 일치한다.
• 워터마킹 기법은 역방향 훈련 공격에 대해 강력한 내성을 보이며, 윈도우 크기가 작은 임계값을 초과하면 성공률이 0.5(무작위 추측 수준)로 떨어진다.
• 윈도우 크기가 매우 작지 않은 한 단어 빈도 기반 해킹 방법은 효과가 없으며, 이는 통계적 분석에 대한 저항성을 확인한다.
• 워터마킹 생성 네트워크는 표준편차 0.02 이하로 안정적인 워터마킹 토큰 비율을 유지하여 신뢰할 수 있는 z-스코어 계산을 보장한다.
• 워터마킹의 계산 오버헤드는 매우 낮으며, 대규모 모델에서도 테슬라 V100 GPU에서 토큰당 약 ~1ms의 추가 시간만 소요된다.
• $ \ u $ 값 2가 최적의 선택으로 간주되었으며, 이는 LLaMA-7B 모델에서 퍼플렉서티 측정 기준으로 높은 검출 F1 스코어와 수용 가능한 텍스트 품질을 동시에 확보하기 때문이다.