[논문 리뷰] Source Attribution for Large Language Model-Generated Data

Jingtan Wang, Xinyang Lu외 5명|arXiv (Cornell University)|2023. 10. 01.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Model, LLM)이 생성한 텍스트에 고유하고 눈에 띄지 않는 워터마크를 삽입하여 정확한 출처 기원 추적과 데이터 기원 추적을 가능하게 하는 워터마킹 프레임워크 WASA를 제안한다. 서로 다른 데이터 제공자 특성과 특정 워터마크를 매핑하도록 LLM을 훈련시킴으로써 WASA는 텍스트 생성 품질과 강건성을 유지하면서도, 악성 공격 조건에서도 높은 출처 기원 추적 정확도(최대 76.12%)를 달성한다.

ABSTRACT

The impressive performances of Large Language Models (LLMs) and their immense potential for commercialization have given rise to serious concerns over the Intellectual Property (IP) of their training data. In particular, the synthetic texts generated by LLMs may infringe the IP of the data being used to train the LLMs. To this end, it is imperative to be able to perform source attribution by identifying the data provider who contributed to the generation of a synthetic text by an LLM. In this paper, we show that this problem can be tackled by watermarking, i.e., by enabling an LLM to generate synthetic texts with embedded watermarks that contain information about their source(s). We identify the key properties of such watermarking frameworks (e.g., source attribution accuracy, robustness against adversaries), and propose a source attribution framework that satisfies these key properties due to our algorithmic designs. Our framework enables an LLM to learn an accurate mapping from the generated texts to data providers, which sets the foundation for effective source attribution. Extensive empirical evaluations show that our framework achieves effective source attribution.

연구 동기 및 목표

• LLM이 생성한 콘텐츠에서 지적 재산권(IP) 침해 문제가 증가하는 데 대응하기 위해, 특히 훈련 데이터가 동의 없이 사용되는 경우를 대비하여.
• 생성된 합성 텍스트의 기여한 데이터 제공자를 식별할 수 있도록, LLM 출력에 고유한 워터마크를 삽입함으로써 출처 기원 추적을 가능하게 하기 위해.
• 데이터 제공자가 자신의 데이터가 LLM 훈련에 사용되었는지 검증할 수 있도록 데이터 기원 추적을 지원하기 위해.
• LLM 성능을 유지하고, 많은 수의 데이터 제공자에 대해 확장 가능하며, 워터마크 제거 공격에 강건한 워터마킹 프레임워크를 설계하기 위해.
• 다양한 LLM 아키텍처와 훈련 방식에 적응 가능한 시스템을 개발하기 위해.

제안 방법

• WASA 프레임워크는 서로 다른 데이터 제공자에 속한 입력 텍스트를 고유하고 눈에 띄지 않는 워터마크로 매핑하도록 LLM을 훈련한다. 이 워터마크는 비시각적 유니코드 문자(예: U+200B, U+200C)로 구성된다.
• 워터마크 삽입은 각 데이터 제공자의 콘텐츠가 고유한 워터마크 시퀀스와 연결된 정제된 데이터셋에서 두 번째 단계의 사전 훈련 단계를 통해 이루어진다.
• 모델의 내부 표현 학습을 활용하여, 요약, 잘라내기, 토큰 수준의 변형과 같은 일반적인 공격에 강건한 워터마크를 설계한다.
• 출처 기원 추적은 워터마크 패턴을 식별하고 해당 패턴을 대응하는 데이터 제공자로 매핑할 수 있도록 훈련된 분류기 헤드를 사용하여 생성된 텍스트에서 워터마크를 복호화함으로써 수행된다.
• 프레임워크는 가변 길이의 워터마크(5~15자)와 각 위치당 가용한 문자 수(2~6개)를 지원하여 확장성과 보안성에 유연성을 제공한다.
• 실증 평가는 ArXiv 데이터셋에 맞춘 GPT-2를 대상으로 하며, 데이터 크기, 훈련 에포크 수, 워터마크 길이, 문자 집합 다양성에 대한 분석을 포함한다.

Figure 1: Illustration of WASA ’s problem setting. Watermarks are embedded into the texts from data providers for training the LLM. The LLM produced by our WASA framework can generate synthetic texts with embedded watermarks that allow for effective source attribution and data provenance.

실험 결과

연구 질문

• RQ1 워터마킹 프레임워크가 기여한 데이터 제공자에 대해 LLM이 생성한 텍스트의 정확한 출처 기원 추적을 가능하게 할 수 있는가?
• RQ2 요약 또는 토큰 조작과 같은 악성 공격에 대해 워터마킹 기법은 얼마나 강건한가?
• RQ3 워터마킹이 LLM의 텍스트 생성 품질(예: 퍼플렉서티)에 어느 정도 영향을 미치는가?
• RQ4 데이터 제공자 수, 워터마크 길이, 문자 집합 크기가 기원 추적 정확도에 미치는 영향은 어떠한가?
• RQ5 워터마킹된 LLM이 다른 LLM 아키텍처로 일반화되어도 데이터 기원 검증에 효과적으로 기여할 수 있는가?

주요 결과

• WASA는 5자 길이의 워터마크를 사용하여 76.12%의 출처 기원 추적 정확도를 달성하였으며, 상위 3개 정답 정확도는 95.48%에 이르러 데이터 제공자의 정확한 식별 능력을 입증한다.
• 훈련 에포크 수를 1에서 2로 늘임으로써 출처 기원 추적 정확도가 74.84%에서 76.96%로 향상되어 더 많은 훈련이 성능 향상에 기여함을 시사한다.
• 더 많은 훈련 데이터(예: ArXiv 카테고리의 33%)를 사용할 경우 출처 기원 추적 정확도와 퍼플렉서티가 모두 향상되어 확장성의 이점을 보여준다.
• 워터마크 길이가 정확도에 미치는 영향은 미미하다: 5자, 10자, 15자 길이의 워터마크 모두 유사한 성능을 보이며, 5자 길이가 略로 약간 우수하다.
• 각 워터마크 위치에서 사용 가능한 유니코드 문자 수를 6개에서 2개로 줄일 경우 상위 3개 정답 정확도가 약간 떨어지며(89.92%로 감소), 더 큰 문자 집합이 식별 능력을 향상시킨다는 것을 시사한다.
• 워터마킹 후에도 퍼플렉서티가 낮게 유지됨(예: ArXiv에서 11.3171)으로써 텍스트 생성 품질에 미치는 영향이 최소화됨을 보여준다.

Figure 2: Sentences embedded (top left) and not embedded (top right) with our imperceptible watermark visualized in the bottom sentence.