[논문 리뷰] Origin Tracing and Detecting of LLMs

Linyang Li, Pengyu Wang외 3명|arXiv (Cornell University)|2023. 04. 27.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 원본 추적을 소개하며, Sniffer—모델 별 특징 기반 방법으로, LLM 간의 대비 특징을 사용해 텍스트 원본을 탐지하는 방법을 제안한다. 이 방법은 화이트박스 및_BLK박스 환경 모두에서 작동하며, 다양한 LLM(예: Alpaca와 같은 정제된 모델 포함)에서 높은 정확도를 달성하고, 향후 연구를 위한 벤치마크 툴킷을 제공한다.

ABSTRACT

The extraordinary performance of large language models (LLMs) heightens the importance of detecting whether the context is generated by an AI system. More importantly, while more and more companies and institutions release their LLMs, the origin can be hard to trace. Since LLMs are heading towards the time of AGI, similar to the origin tracing in anthropology, it is of great importance to trace the origin of LLMs. In this paper, we first raise the concern of the origin tracing of LLMs and propose an effective method to trace and detect AI-generated contexts. We introduce a novel algorithm that leverages the contrastive features between LLMs and extracts model-wise features to trace the text origins. Our proposed method works under both white-box and black-box settings therefore can be widely generalized to detect various LLMs.(e.g. can be generalized to detect GPT-3 models without the GPT-3 models). Also, our proposed method requires only limited data compared with the supervised learning methods and can be extended to trace new-coming model origins. We construct extensive experiments to examine whether we can trace the origins of given texts. We provide valuable observations based on the experimental results, such as the difficulty level of AI origin tracing, and the AI origin similarities, and call for ethical concerns of LLM providers. We are releasing all codes and data as a toolkit and benchmark for future AI origin tracing and detecting studies. \footnote{We are releasing all available resource at \url{https://github.com/OpenLMLab/}.}

연구 동기 및 목표

• LLM가 널리 보급되고 점점 더 능력이 향상되면서 AI 생성 텍스트의 원본을 추적할 필요성이 점점 더 중요해짐을 다루기 위해.
• 기존 탐지 방법의 한계를 규명하기 위해, AI 생성을 이진 분류 문제로 간주하고 원본 분辨을 고려하지 않는 점을 지적하기 위해.
• 다양한 LLM(화이트박스 및 정제된 모델 포함) 간에 일반화 가능하고 데이터 효율적인 원본 추적 방법을 개발하기 위해.
• 재현 가능한 연구를 지원하기 위해 원본 추적 및 탐지 분야의 벤치마크와 오픈소스 툴킷을 구축하기 위해.

제안 방법

• LLM 출력에서 모델 별 대비 특징을 추출하여 원본을 구분하는 탐지 프레임워크인 Sniffer를 제안한다.
• 모델 별 고유한 차이를 포착하기 위해 히우리스틱 기반 특징 공학을 적용하여 다양한 LLM 간의 내재적 특징 차이(예: GPT-2, GPT-J, LLaMA)를 분석한다.
• 추출된 특징을 특정 모델 원본으로 매핑하기 위해 경량 선형 분류기를 적용하여 화이트박스 및 블랙박스 탐지 모두 가능하게 한다.
• 기본 모델 뿐 아니라 지시 편집된 변형 모델(예: Alpaca, Dolly)까지도 추적할 수 있도록 다수준 원본 분류 체계를 설계한다.
• 다양한 LLM과 지시 유형의 텍스트를 포함하는 SnifferBench라는 다각도의 벤치마크 데이터셋을 구축하여 원본 추적 성능 평가를 가능하게 한다.
• 의미적 특징과 모델 별 특징을 융합한 하이브리드 탐지(Sniffer+RoBERTa)를 통해 다양한 모델 성능과 지시 유형 변화에 대비한 탐지 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 모델 별 특징이 원본 모델이 완전히 가시하지 않은 경우에도 다양한 LLM 간의 AI 생성 텍스트 원본을 효과적으로 구분할 수 있는가?
• RQ2 원본 LLM의 강도(예: GPT-2 대비 GPT-3.5)가 원본 추적의 어려움에 어떤 영향을 미치는가?
• RQ3 강력한 LLM의 출력을 기반으로 훈련된 정제 또는 편집된 모델(예: Alpaca, Dolly)을 얼마나 잘 추적할 수 있는가?
• RQ4 다양한 지시 프롬프트가 모델 간 AI 생성 텍스트의 탐지 가능성에 어떤 영향을 미치는가?
• RQ5 의미적 특징과 모델 별 특징을 융합한 하이브리드 접근 방식이 개별 방법 대비 원본 추적 성능을 향상시킬 수 있는가?

주요 결과

• Sniffer는 화이트박스 및 블랙박스 환경 모두에서 오픈소스 LLM(예: GPT-2, GPT-J, LLaMA)의 원본 추적에서 높은 정확도를 달성한다.
• 강력한 LLM(예: GPT-3.5)에서 생성된 텍스트는 GPT-2와 같은 약한 모델에서 생성된 텍스트보다 추적하기가 더 어렵다는 점을 확인하였으며, 이는 모델 능력 향상에 따라 탐지 난이도가 증가함을 시사한다.
• 지시 편집 과정(예: 지시 토닝)이 생성된 텍스트 특성에 미치는 영향은 기본 모델보다 더 크며, Alpaca와 Dolly는 ChatGPT에서 생성된 것으로 분류됨을 통해 이를 확인할 수 있다.
• Sniffer는 GPT-J와 GPT-Neo의 원본을 고정밀도(F1 스코어)로 효과적으로 분리함으로써, 유사한 모델 간의 구분 능력을 입증한다.
• 감독 기반 방법인 RoBERTa 기반 탐지 방법은 GPT-2에서 생성된 텍스트를 추적하지 못함을 확인하였으며, 이는 의미적 특징만으로는 한계가 있음을 보여주며, 모델 별 특징의 우수성을 입증한다.
• 하이브리드 Sniffer+RoBERTa 접근 방식은 개별 방법보다 뛰어난 성능을 보이며, 의미적 특징과 모델 별 특징을 융합함으로써 탐지의 강건성을 향상시킨다는 점을 입증한다.