[论文解读] Interpretable Predictability-Based AI Text Detection: A Replication Study

Adam Skurla, Dominik Macko+1 more|arXiv (Cornell University)|Mar 16, 2026

Authorship Attribution and Profiling被引用 0

一句话总结

直接回答摘要：本文复现并扩展 AuTexTification 2023 系统用于 AI 文本归因，测试更新的多语言模型，新增 26 个文档级风格学特征，并使用 SHAP 进行可解释性分析，在统一的多语言配置下实现可比或更好的结果。

ABSTRACT

This paper replicates and extends the system used in the AuTexTification 2023 shared task for authorship attribution of machine-generated texts. First, we tried to reproduce the original results. Exact replication was not possible because of differences in data splits, model availability, and implementation details. Next, we tested newer multilingual language models and added 26 document-level stylometric features. We also applied SHAP analysis to examine which features influence the model's decisions. We replaced the original GPT-2 models with newer generative models such as Qwen and mGPT for computing probabilistic features. For contextual representations, we used mDeBERTa-v3-base and applied the same configuration to both English and Spanish. This allowed us to use one shared configuration for Subtask 1 and Subtask 2. Our experiments show that the additional stylometric features improve performance in both tasks and both languages. The multilingual configuration achieves the results that are comparable to or better than language-specific models. The study also shows that clear documentation is important for reliable replication and fair comparison of systems.

研究动机与目标

• 旨在如实复现 AuTexTification 2023 系统并识别影响可重复性的因素。
• 评估更新的多语言语言模型对嵌入特征与可预测性特征的影响。
• 用额外的文档级指示符扩展风格学特征集合并评估其贡献。
• 使用 SHAP 分析解释 LingRF 与 LingRF+PredOut 配置下的特征重要性与决策信号。
• 提出一个在跨任务中表现良好且无需语言特定调整的统一多语言配置。

提出的方法

• 在 AuTexTification 2023 数据集及官方训练-测试划分下，复现原系统配置、特征集和训练过程。
• 用更新的多语言模型组（XGLM、mGPT、Large）及多语言编码器（XLM-R、mDeBERTa-v3）替换用于概率特征与上下文表示的基础语言模型，以测试跨语言适用性。
• 用 26 个文档级风格学特征扩展特征集，并评估其对性能与可解释性的影响。
• 应用 SHAP 分析以识别在 LingRF 与 LingRF+PredOut 配置中对模型决策影响最大的特征。
• 将多语言统一配置与语言特定基线进行对比，以评估跨语言泛化性与鲁棒性。
• 在 AuTexTification 2023 数据（英文和西班牙文）上对子任务 1（二元分类）与 2（模型归因）进行实验，若适用采用固定划分与 20 轮训练。

Figure 1: Overview of the architecture proposed by Przybyla et al. ( 2023 ) . The upper part shows the evaluated model configurations, while the lower part illustrates the feature extraction pipeline used to derive token-level probabilistic features and document-level linguistic features.

实验结果

研究问题

• RQ1 RQ1：原始的 AuTexTification 2023 系统在多大程度上可以忠实复现？
• RQ2 RQ2：基础语言模型的选择如何影响性能，统一的多语言配置是否能够在各语言中实现可比的结果？
• RQ3 RQ3：新增的风格学特征是否提升分类性能与模型可解释性？

主要发现

• 扩展的风格学特征在多语言和子任务中持续提升性能。
• 统一的多语言配置（以 mDeBERTa-v3 作为编码器、Large 作为概率模型组）在许多设置中可以匹配甚至略胜于语言特定基线。
• SHAP 分析显示若干新加入的风格学特征是最重要的预测因子之一，与概率信号结合时具有互补性。
• 用更新的多语言编码器和概率模型替换旧模型，能够实现可用于两种语言和两类子任务的单一配置，而无需语言特定调优。
• 复现强调小的实现细节（数据划分、早停、特征提取细节）对可重复性有显著影响，强调需要完整代码发布和精准的方法学文档。
• 与附录 C.3 中的最先进检测器 mdok 相比，该方法在二元子任务上具有竞争力，同时保持可解释性。

Figure 2: SHAP Summary for Subtask 1 (English) - LingRF Style, Class 1