[논문 리뷰] Interpretable Predictability-Based AI Text Detection: A Replication Study

Adam Skurla, Dominik Macko외 1명|arXiv (Cornell University)|2026. 03. 16.

Authorship Attribution and Profiling인용 수 0

한 줄 요약

이 논문은 AI 텍스트 속성화(AuTexTification 2023) 시스템을 재현하고 확장하여, 최신 다언어 모델을 테스트하고, 26개의 문서 수준의 스타일로메트릭 특징을 추가하며, 해석 가능성을 위해 SHAP을 사용하고, 통합 다국어 구성으로 동등하거나 더 나은 결과를 달성합니다.

ABSTRACT

This paper replicates and extends the system used in the AuTexTification 2023 shared task for authorship attribution of machine-generated texts. First, we tried to reproduce the original results. Exact replication was not possible because of differences in data splits, model availability, and implementation details. Next, we tested newer multilingual language models and added 26 document-level stylometric features. We also applied SHAP analysis to examine which features influence the model's decisions. We replaced the original GPT-2 models with newer generative models such as Qwen and mGPT for computing probabilistic features. For contextual representations, we used mDeBERTa-v3-base and applied the same configuration to both English and Spanish. This allowed us to use one shared configuration for Subtask 1 and Subtask 2. Our experiments show that the additional stylometric features improve performance in both tasks and both languages. The multilingual configuration achieves the results that are comparable to or better than language-specific models. The study also shows that clear documentation is important for reliable replication and fair comparison of systems.

연구 동기 및 목표

• AuTexTification 2023 시스템을 충실히 재현하고 재현성에 영향을 주는 요인을 식별하는 것을 목표로 한다.
• 임베딩 기반 및 예측성 기반 특징에 대한 최신 다국어 언어 모델의 영향을 평가한다.
• 추가적인 문서 수준 지표로 스타일로메트릭 특징 집합을 확장하고 그 기여를 평가한다.
• 두 언어에서 특징 중요도와 의사결정 신호를 해석하기 위해 SHAP 분석을 활용한다.
• 언어별 조정 없이도 작업 전반에서 잘 작동하는 통합 다국어 구성을 제안한다.

제안 방법

• AuTexTification 2023 데이터세트와 공식 학습-테스트 분할을 사용하여 원래 시스템 구성, 특징 집합 및 학습 절차를 재현한다.
• 확률적 특징 및 맥락적 표현에 사용되는 기본 언어 모델을 최신 다언어 모델 그룹(XGLM, mGPT, Large)과 다국어 인코더(XLM-R, mDeBERTa-v3)로 교체하여 언어 간 적용 가능성을 테스트한다.
• 피처 세트를 26개의 문서 수준 스타일로메트릭 특징으로 확장하고 성능 및 해석 가능성에 미치는 영향을 평가한다.
• LingRF 및 LingRF+PredOut 구성에서 어떤 특징이 모델 결정에 가장 큰 영향을 미치는지 식별하기 위해 SHAP 분석을 적용한다.
• 다국어 통합 구성과 언어별 기준선 간 비교를 통해 교차 언어 일반화와 견고성을 평가한다.
• 적용 가능한 경우 고정 분할 및 20에폭 학습으로 영어와 스페인어를 포함한 AuTexTification 2023 데이터의 Subtask 1(이진 분류) 및 Subtask 2(모델 속성화)에 대해 실험을 수행한다.

Figure 1: Overview of the architecture proposed by Przybyla et al. ( 2023 ) . The upper part shows the evaluated model configurations, while the lower part illustrates the feature extraction pipeline used to derive token-level probabilistic features and document-level linguistic features.

실험 결과

연구 질문

• RQ1 RQ1: 원래의 AuTexTification 2023 시스템을 얼마나 충실하게 재현할 수 있는가?
• RQ2 RQ2: 기본 언어 모델 선택이 성능에 어떤 영향을 미치며, 통합 다국어 구성이 언어 간에 비슷한 결과를 달성할 수 있는가?
• RQ3 RQ3: 추가된 스타일로메트릭 특징이 분류 성능과 모델 해석 가능성을 향상시키는가?

주요 결과

• 확장된 스타일로메트릭 특징은 언어 및 하위 작업 전반에서 일관되게 성능을 향상시킨다.
• 언어별 기준선과 대등하거나 약간 우수하게 작업 설정 다수에서 성능을 달성하는 통합 다국어 구성(인코더로 mDeBERTa-v3 사용, 확률적 모델군 Large)을 사용할 수 있다.
• SHAP 분석은 새로 추가된 여러 스타일로메트릭 특징이 가장 중요한 예측자 중 하나이며 확률적 신호와 결합될 때 보완적임을 보여준다.
• 구식 모델을 최신 다국어 인코더 및 확률적 모델로 대체하면 언어별 조정 없이 두 언어와 하위 작업에 모두 사용할 수 있는 단일 구성을 가능하게 한다.
• 재현은 데이터 분할, 조기 중지, 특징 추출의 뉘앙스와 같은 작은 구현 세부사항이 재현성에 크게 영향을 미친다는 것을 강조하며, 전체 코드 공개와 정확한 방법론 문서의 필요성을 강조한다.
• Appendix C.3의 최첨단 탐지기 mdok와 비교할 때, 본 접근법은 이진 하위 작업에서 해석 가능성을 유지하면서 경쟁력을 가질 수 있다.

Figure 2: SHAP Summary for Subtask 1 (English) - LingRF Style, Class 1