[논문 리뷰] Embarrassingly Simple Text Watermarks

Ryoma Sato, Yuki Takezawa외 3명|arXiv (Cornell University)|2023. 10. 13.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

Easymark는 텍스트 품질을 손상시키지 않고 의미적으로 동일한 유니코드 코드포인트를 활용하여 워터마크를 삽입하는 새로운 초단순 텍스트 워터마킹 방법이다. BLEU와 퍼플렉서티에서의 품질 저하가 없이 최신 기술 수준의 탐지 정확도를 달성하며, 사용자 측에서 몇 줄의 코드로도 구현 가능하여 LLM 제공자에 의존하지 않는다.

ABSTRACT

We propose Easymark, a family of embarrassingly simple yet effective watermarks. Text watermarking is becoming increasingly important with the advent of Large Language Models (LLM). LLMs can generate texts that cannot be distinguished from human-written texts. This is a serious problem for the credibility of the text. Easymark is a simple yet effective solution to this problem. Easymark can inject a watermark without changing the meaning of the text at all while a validator can detect if a text was generated from a system that adopted Easymark or not with high credibility. Easymark is extremely easy to implement so that it only requires a few lines of code. Easymark does not require access to LLMs, so it can be implemented on the user-side when the LLM providers do not offer watermarked LLMs. In spite of its simplicity, it achieves higher detection accuracy and BLEU scores than the state-of-the-art text watermarking methods. We also prove the impossibility theorem of perfect watermarking, which is valuable in its own right. This theorem shows that no matter how sophisticated a watermark is, a malicious user could remove it from the text, which motivate us to use a simple watermark such as Easymark. We carry out experiments with LLM-generated texts and confirm that Easymark can be detected reliably without any degradation of BLEU and perplexity, and outperform state-of-the-art watermarks in terms of both quality and reliability.

연구 동기 및 목표

• 가짜 뉴스, 표절, 자동 콘텐츠 생산 등의 악용을 방지하기 위해 증가하는 LLM 생성 텍스트 탐지 수요를 해결한다.
• 강제로 단어를 선택하거나 디코딩 방식을 수정함으로써 품질 저하(예: BLEU 감소, 퍼플렉서티 증가)를 초래하는 기존 워터마킹 방법의 한계를 극복한다.
• LLM 제공자나 모델 내부에 대한 액세스가 필요 없도록 하여 워터마킹을 사용자 측에서 배포할 수 있도록 한다.
• 간단한 구현과 이론적으로 탄탄한 기반을 갖춘 방법을 개발하여 제거 시도에 대한 증명 가능하고 강력한 저항성을 확보한다.
• LLM 제공자가 원래부터 워터마킹을 지원하지 않더라도 사용할 수 있는 실용적이고 즉시 사용 가능한 솔루션을 제공한다.

제안 방법

• 시각적으로 동일하게 보이지만 코드포인트 값이 다른 의미적으로 동일한 유니코드 코드포인트(예: 전각, 반각, 결합 문자 등)를 활용한다.
• 사전 정의된 코드포인트 패밀리에서 표준 문자를 의미적으로 동일한 변형으로 선택적으로 교체하여 워터마크를 삽입한다.
• 워터마크 비트와 특정 코드포인트 변형 간의 결정론적 매핑을 사용하여 패턴 분석을 통한 신뢰성 높은 탐지가 가능하다.
• 모델의 디코딩 프로세스를 수정하지 않으며 LLM에 대한 액세스가 필요 없어, 클라이언트 측에서 후처리 단계로 구현이 가능하다.
• 로마자와 CJK 스크립트 모두에 대응하는 변형을 지원하여 다국어 적용 가능성을 높인다.
• 코드포인트 변형의 통계적 비정상 분포를 점검하는 탐지 메커니즘을 활용하여, 워터마크가 삽입된 텍스트와 자연스러운 텍스트를 높은 신뢰도로 구분한다.

실험 결과

연구 질문

• RQ1 텍스트 품질(BLEU, 퍼플렉서티)을 유지하면서도 LLM 생성 콘텐츠를 신뢰성 있게 탐지할 수 있는 텍스트 워터마킹 방법을 설계할 수 있는가?
• RQ2 LLM의 디코딩 프로세스를 수정하거나 모델에 대한 액세스가 없이도 워터마킹을 구현할 수 있는가?
• RQ3 탐지 가능성과 제거 저항성 측면에서 워터마킹의 이론적 한계는 무엇인가?
• RQ4 단순하고 사용자 배포가 가능한 워터마킹 시스템이 복잡한 모델 통합 워터마킹 방법보다 품질과 신뢰성 측면에서 뛰어날 수 있는가?
• RQ5 의미적으로 동일한 유니코드 코드포인트를 사용하면 실용적이고 강력한 워터마킹 체계를 어떻게 구현할 수 있는가?

주요 결과

• Easymark는 워터마크가 삽입된 텍스트가 원본과 시각적·의미적으로 완전히 동일하므로 BLEU와 퍼플렉서티에서 품질 저하가 전혀 없음을 입증했다.
• 적대적 제거 시도 조건에서도 최신 기술 수준의 워터마킹 방법을 뛰어넘는 탐지 정확도를 확보했다.
• 몇 줄의 코드로도 간편하게 구현 가능하며, LLM 제공자 지원 없이 사용자 측에서 독립적으로 배포할 수 있다.
• 이론적 분석을 통해 완벽한 워터마킹의 불가능성을 입증하였으며, 악의적인 사용자가 어떤 워터마크도 제거할 수 있음을 보여주어, Easymark와 같은 단순하고 탐지 가능한 체계의 타당성을 뒷받침한다.
• 텍스트 품질 지표와 탐지 신뢰성 측면에서 기존 방법들을 모두 뛰어넘어, 향후 워터마킹 연구의 강력한 기준이 된다.
• 기존 워터마킹 기법들과 수직적(orthogonal)으로 작용하여 결합 가능하며, 탐지 강성 향상에 기여할 수 있다.