[论文解读] Can Large Language Models Identify Authorship?

Baixiang Huang, Canyu Chen+1 more|arXiv (Cornell University)|Mar 13, 2024

Authorship Attribution and Profiling被引用 4

一句话总结

本文研究了大型语言模型（LLMs）在无需领域特定微调的情况下，用于零样本作者身份验证与归属的可行性。通过一种新颖的语义提示技术（Linguistically Informed Prompting, LIP），GPT-4 等 LLM 能够在多个数据集上实现最先进性能，并提升可解释性，通过识别关键语言特征，其在作者身份验证与归属任务中均优于传统模型与基于 BERT 的模型。

ABSTRACT

The ability to accurately identify authorship is crucial for verifying content authenticity and mitigating misinformation. Large Language Models (LLMs) have demonstrated an exceptional capacity for reasoning and problem-solving. However, their potential in authorship analysis remains under-explored. Traditional studies have depended on hand-crafted stylistic features, whereas state-of-the-art approaches leverage text embeddings from pre-trained language models. These methods, which typically require fine-tuning on labeled data, often suffer from performance degradation in cross-domain applications and provide limited explainability. This work seeks to address three research questions: (1) Can LLMs perform zero-shot, end-to-end authorship verification effectively? (2) Are LLMs capable of accurately attributing authorship among multiple candidates authors (e.g., 10 and 20)? (3) Can LLMs provide explainability in authorship analysis, particularly through the role of linguistic features? Moreover, we investigate the integration of explicit linguistic features to guide LLMs in their reasoning processes. Our assessment demonstrates LLMs' proficiency in both tasks without the need for domain-specific fine-tuning, providing explanations into their decision making via a detailed analysis of linguistic features. This establishes a new benchmark for future research on LLM-based authorship analysis.

研究动机与目标

• 评估 LLM 在无需微调的零样本、端到端作者身份验证中的有效性。
• 评估 LLM 在多个候选作者（如 10 位和 20 位）中进行作者归属的准确性。
• 通过将语言特征整合到 LLM 推理过程中，提升作者分析的可解释性。
• 提出并验证一种新型提示技术——语义提示（Linguistically Informed Prompting, LIP），引导 LLM 聚焦于文体与语言特征。
• 在低资源与跨领域设置下，建立基于 LLM 的作者分析新基准。

提出的方法

• 提出语义提示（Linguistically Informed Prompting, LIP）提示框架，明确引导 LLM 分析语气、幽默感与句法等语言特征。
• 以零样本、端到端方式直接应用 LLM 于作者身份验证与归属任务，跳过中间特征工程步骤。
• 以 GPT-4 和 GPT-3.5 为主要 LLM，与 TF-IDF、BERT、RoBERTa、DeBERTa 和 ELECTRA 进行性能对比。
• 将语言特征检测整合至 LLM 提示过程中，以提升决策透明度并聚焦于文体线索。
• 生成作者决策的自然语言解释，并通过可视化手段（如词云）分析模型对语言术语的关注程度。
• 通过 GitHub 仓库公开所有模型输出、输入文本与分析结果，以确保可复现性与基准测试。

实验结果

研究问题

• RQ1 LLM 能否有效实现零样本、端到端的作者身份验证？
• RQ2 LLM 是否能够准确地在多个候选作者（如 10 位和 20 位）中进行作者归属？
• RQ3 LLM 如何在作者分析中提供可解释性，特别是语言特征在其中的作用？
• RQ4 将显式语言指导整合是否能提升 LLM 在作者任务中的性能与决策透明度？

主要发现

• 使用 LIP 的 GPT-4 在作者身份验证与归属任务中均优于所有基线模型，包括基于 BERT 的模型与 TF-IDF。
• 当候选作者数量从 10 增加到 20 时，LLM 的性能保持稳定，而传统模型则表现出显著性能下降。
• 语言引导提示显著提升了 LLM 解释的特异性和相关性，词云显示模型对高层次特征（如“幽默”、“反讽”与“口语化”）的关注度明显提高。
• 语气与语体等语言特征在 LIP 引导的输出中被一致检测并突出强调，证明模型具备推理风格细微差别的能力。
• LIP 方法通过将决策建立在可观测的语言属性基础上，显著增强了可解释性，提供了比黑箱嵌入更清晰、更可解释的论证依据。
• 本研究建立了基于 LLM 的作者分析新基准，展示了强大的零样本泛化能力与跨数据集的鲁棒性，且无需领域特定微调。