[논문 리뷰] Can Large Language Models Identify Authorship?

Baixiang Huang, Canyu Chen외 1명|arXiv (Cornell University)|2024. 03. 13.

Authorship Attribution and Profiling인용 수 4

한 줄 요약

이 논문은 도메인 특화 미세조정 없이, 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 제로샷 저자 확인 및 저자 할당을 연구한다. 새로 개발한 언어학적 인식 프롬프팅(Linguistically Informed Prompting, LIP) 기법을 통해 GPT-4와 같은 LLMs는 텍스트의 핵심 언어적 특징을 식별함으로써, 다양한 데이터셋에서 전통적 모델과 BERT 기반 모델을 능가하는 최신 기술 수준의 성능을 달성하며, 설명 가능성까지 향상시킨다.

ABSTRACT

The ability to accurately identify authorship is crucial for verifying content authenticity and mitigating misinformation. Large Language Models (LLMs) have demonstrated an exceptional capacity for reasoning and problem-solving. However, their potential in authorship analysis remains under-explored. Traditional studies have depended on hand-crafted stylistic features, whereas state-of-the-art approaches leverage text embeddings from pre-trained language models. These methods, which typically require fine-tuning on labeled data, often suffer from performance degradation in cross-domain applications and provide limited explainability. This work seeks to address three research questions: (1) Can LLMs perform zero-shot, end-to-end authorship verification effectively? (2) Are LLMs capable of accurately attributing authorship among multiple candidates authors (e.g., 10 and 20)? (3) Can LLMs provide explainability in authorship analysis, particularly through the role of linguistic features? Moreover, we investigate the integration of explicit linguistic features to guide LLMs in their reasoning processes. Our assessment demonstrates LLMs' proficiency in both tasks without the need for domain-specific fine-tuning, providing explanations into their decision making via a detailed analysis of linguistic features. This establishes a new benchmark for future research on LLM-based authorship analysis.

연구 동기 및 목표

• 미세조정 없이 제로샷, 종단 간 저자 확인에 LLM의 효과성을 평가하는 것.
• 여러 후보 저자(예: 10명 및 20명) 중에서 LLM의 저자 할당 정확도를 평가하는 것.
• 언어적 특징을 LLM의 추론 과정에 통합하여 저자 분석의 설명 가능성 향상.
• LLM이 스타일리스틱 및 언어적 특징에 집중하도록 이끄는 새로운 프롬프팅 기법인 언어학적 인식 프롬프팅(Linguistically Informed Prompting, LIP)을 개발하고 검증하는 것.
• 저자 분석에 기반한 LLM 기반 신규 벤치마크를 설정하여 자원이 제한된 환경 및 교차 도메인 설정에서의 성능을 평가하는 것.

제안 방법

• LLM이 톤, 유머, 문법적 구조와 같은 언어적 특징을 분석하도록 명시적으로 이끄는 프롬프팅 프레임워크인 언어학적 인식 프롬프팅(LIP)을 제안한다.
• 중간 단계의 특징 추출 과정을 생략하고, LLM을 제로샷, 종단 간 방식으로 직접 저자 확인 및 할당 작업에 적용한다.
• 주요 LLM으로 GPT-4와 GPT-3.5를 사용하며, TF-IDF, BERT, RoBERTa, DeBERTa, ELECTRA와의 성능을 비교한다.
• LLM 프롬프팅 과정에 언어적 특징 탐지 기능을 통합하여 의사결정의 투명성 향상과 스타일리스틱 신호에의 집중 강화.
• 자연어 기반의 저자 결정 설명을 생성하고, 단어 구름(word clouds) 등의 시각화 도구를 활용해 모델의 언어적 용어에 대한 주의 집중도를 분석한다.
• 모든 모델 출력, 입력 텍스트 및 분석 결과를 GitHub 리포지토리에 공개하여 재현성과 벤치마크 수립을 지원한다.

실험 결과

연구 질문

• RQ1 LLM은 제로샷, 종단 간 방식으로 저자 확인을 효과적으로 수행할 수 있는가?
• RQ2 LLM은 여러 후보 저자(예: 10명 및 20명) 중에서 저자를 정확하게 할당할 수 있는가?
• RQ3 LLM은 언어적 특징의 역할을 통해 저자 분석에서 설명 가능성을 어떻게 제공할 수 있는가?
• RQ4 명시적인 언어적 지시를 통합하면 LLM의 성능 향상과 의사결정의 투명성 향상이 이루어지는가?

주요 결과

• LIP를 적용한 GPT-4는 TF-IDF, BERT 기반 모델을 포함한 모든 베이스라인 모델을 초월하여 저자 확인 및 할당 작업에서 모두 최고의 성능을 기록한다.
• 후보 저자 수가 10명에서 20명으로 증가하더라도 LLM의 성능은 안정적으로 유지되며, 전통적 모델은 성능 저하가 심각하게 나타나는 반면에 LLM은 유연성을 보인다.
• 언어학적 지시를 통한 프롬프팅은 LLM 설명의 정확성과 관련성 향상에 기여하며, 단어 구름 분석 결과에서 '유머', '은유', '구어체'와 같은 고수준 특징에 대한 집중도가 높아짐을 확인할 수 있다.
• 톤과 어조와 같은 언어적 특징은 LIP 지시를 받은 출력에서 일관되게 탐지되고 강조되며, 이는 모델이 스타일리스틱 뉘앙스를 이해하고 추론할 수 있음을 보여준다.
• LIP 방법은 결정을 관측 가능한 언어적 특성에 기반시켜 설명 가능성 향상을 이끌어내며, 블랙박스 임베딩보다 더 명확하고 해석 가능한 근거를 제공한다.
• 본 연구는 도메인 특화 미세조정 없이도 강력한 제로샷 일반화 능력과 다양한 데이터셋에서의 강인성을 보여주는 LLM 기반 저자 분석을 위한 새로운 벤치마크를 설정하였다.