[논문 리뷰] DeepTextMark: A Deep Learning-Driven Text Watermarking Approach for Identifying Large Language Model Generated Text

Travis Munyer, Tanvir, Abdullah외 2명|arXiv (Cornell University)|2023. 05. 09.

Topic Modeling인용 수 4

한 줄 요약

DeepTextMark는 Word2Vec와 Universal Sentence Encoder를 사용하여 의미 유사성을 유지하면서 인간의 눈으로 인식하기 어려운 워터마크를 임베딩하고, 블라인드인 트랜스포머 기반 분류기를 통해 이를 탐지하는 딥러닝 기반 텍스트 워터마킹 기법을 제안한다. 이 방법은 원본 텍스트가 필요 없이도 단 5~10개 문장 내에서 거의 완벽한 탐지 정확도(98% 이상)를 달성하면서도 내구성, 인식 불가능성, 확장성을 유지한다.

ABSTRACT

The rapid advancement of Large Language Models (LLMs) has significantly enhanced the capabilities of text generators. With the potential for misuse escalating, the importance of discerning whether texts are human-authored or generated by LLMs has become paramount. Several preceding studies have ventured to address this challenge by employing binary classifiers to differentiate between human-written and LLM-generated text. Nevertheless, the reliability of these classifiers has been subject to question. Given that consequential decisions may hinge on the outcome of such classification, it is imperative that text source detection is of high caliber. In light of this, the present paper introduces DeepTextMark, a deep learning-driven text watermarking methodology devised for text source identification. By leveraging Word2Vec and Sentence Encoding for watermark insertion, alongside a transformer-based classifier for watermark detection, DeepTextMark epitomizes a blend of blindness, robustness, imperceptibility, and reliability. As elaborated within the paper, these attributes are crucial for universal text source detection, with a particular emphasis in this paper on text produced by LLMs. DeepTextMark offers a viable "add-on" solution to prevailing text generation frameworks, requiring no direct access or alterations to the underlying text generation mechanism. Experimental evaluations underscore the high imperceptibility, elevated detection accuracy, augmented robustness, reliability, and swift execution of DeepTextMark.

연구 동기 및 목표

• 고품질로 인식되며 인간이 작성한 텍스트와 구분하기 어려운 LLM 생성 텍스트 탐지 문제를 해결하기 위해.
• 기존의 2진 분류기의 한계를 극복하기 위해, 신뢰성 없고 비블라인드이며 회피 공격에 취약한 점을 해결하기 위해.
• 원본 텍스트 없이도 탐지가 가능한 확장성 있고 자동화되고 신뢰할 수 있는 텍스트 워터마킹 시스템을 개발하여 의미를 유지하도록 하기 위해.
• 소규모 텍스트 수정에 대해 강건하고 다양한 텍스트 입력에서 높은 탐지 정확도를 유지하도록 워터마킹 방법을 보장하기 위해.
• 학습 및 출판 분야에서의 표절 탐지 및 오용 방지와 같은 실생활 응용 분야에 실용적으로 구현 가능하도록 하기 위해.

제안 방법

• 워터마크 삽입은 선택된 토큰에 대해 의미적으로 유사한 단어를 찾기 위해 Word2Vec와 Universal Sentence Encoder 임베딩을 사용하여 인식 불가능성을 확보한다.
• 이 방법은 문장 수준에서 단어 치환을 적용하며, 문장 임베딩을 사용해 의미 유사도 점수를 계산하여 유창성과 의미 유지 보장.
• 워터마크는 블라인드인 트랜스포머 기반 딥러닝 분류기를 통해 수신된 워터마크 텍스트에서만 탐지되며, 블라인드성과 높은 탐지 정확도 보장.
• 워터마크 탐지는 원본 텍스트가 필요 없어 실시간 및 대규모 배포에 실용적이다.
• 에세이와 같은 다중 문장 텍스트를 지원하기 위해 문장 간 탐지 신뢰도를 집계함으로써 신뢰성 향상.
• 워터마킹 프로세스는 완전히 자동화되어 기존 LLM 텍스트 생성 파이프라인에 모델 수준의 변경 없이도 추가로 통합 가능.

실험 결과

연구 질문

• RQ1 딥러닝 기반 워터마킹 시스템이 소규모 텍스트 수정에 강건하고 인식 불가능하며 높은 탐지 정확도를 달성할 수 있는가?
• RQ2 원본 입력이 없이도 블라인드 탐지 메커니즘이 워터마크가 삽입된 LLM 생성 텍스트를 신뢰성 있게 식별할 수 있는가?
• RQ3 문서 내 문장 수가 증가함에 따라 탐지 정확도가 어떻게 변화하는가? 특히 에세이와 같은 다중 문장 텍스트에서의 성능은 어떻게 되는가?
• RQ4 워터마킹 방법이 기존 LLM 시스템에 모델 수준의 변경 없이 플러그인 방식으로 구현 가능한가?
• RQ5 事전 학습된 임베딩(Word2Vec 및 Universal Sentence Encoder)을 사용할 경우 워터마킹 삽입 시 의미 유지도가 얼마나 향상되는가?

주요 결과

• 제안된 방법은 단일 문장에서 98.75%의 탐지 정확도를 달성했으며, 단지 5~10개 문장만으로도 98% 이상의 정확도를 초과하여 거의 완벽한 신뢰성에 가까운 성능 확보.
• 워터마크 삽입 과정에서 높은 인식 불가능성이 유지되었으며, 교체된 단어의 의미 유사도 점수가 항상 0.96 이상으로 일관되게 유지됨.
• 트랜스포머 기반 분류기는 워터마크 텍스트가 소규모 편집이나 어색한 어순 변경을 당해도 높은 탐지 정확도를 유지함으로써 강건함을 입증.
• 시스템은 빠른 실행 속도를 보이며 실시간 또는 대량 텍스트 처리에 적합한 효율성 확보.
• 완전히 블라인드인 방식으로 원본 텍스트가 필요 없어, 원본 콘텐츠가 확보되지 않는 환경에서도 실용적으로 구현 가능.
• 다중 문장 문서로의 확장성도 뛰어나며, 문장 수가 증가할수록 탐지 신뢰도가 크게 향상됨.