[논문 리뷰] Stylometry Analysis of Multi-authored Documents for Authorship and Author Style Change Detection

Muhammad Tayyab Zamir, Muhammad Asif Ayub외 3명|arXiv (Cornell University)|2024. 01. 12.

Authorship Attribution and Profiling인용 수 4

한 줄 요약

이 논문은 다중 저자 문서에서 스타일로미터 작업을 위해 다수의 트랜스포머 모델과 최적화 기법(PSO, 널더-미드, 파웰)을 결합하는 공헌도 기반 후기 융합 프레임워크를 제안한다. 사전 처리 단계에서 특수문자를 유지하는 것이 성능 향상에 크게 기여하며, 특히 다중 저자 전환 탐지 작업에서 기존 최고 성능 기술 대비 최대 5.35% 높은 F1-스코어를 달성함을 입증한다.

ABSTRACT

In recent years, the increasing use of Artificial Intelligence based text generation tools has posed new challenges in document provenance, authentication, and authorship detection. However, advancements in stylometry have provided opportunities for automatic authorship and author change detection in multi-authored documents using style analysis techniques. Style analysis can serve as a primary step toward document provenance and authentication through authorship detection. This paper investigates three key tasks of style analysis: (i) classification of single and multi-authored documents, (ii) single change detection, which involves identifying the point where the author switches, and (iii) multiple author-switching detection in multi-authored documents. We formulate all three tasks as classification problems and propose a merit-based fusion framework that integrates several state-of-the-art natural language processing (NLP) algorithms and weight optimization techniques. We also explore the potential of special characters, which are typically removed during pre-processing in NLP applications, on the performance of the proposed methods for these tasks by conducting extensive experiments on both cleaned and raw datasets. Experimental results demonstrate significant improvements over existing solutions for all three tasks on a benchmark dataset.

연구 동기 및 목표

• AI 생성 및 다중 저자 문서에서의 저자 소속 할당 및 스타일 전환 탐지 문제 해결의 증가하는 도전 과제에 대응한다.
• 단일/다중 저자 문서 분류, 단일 저자 전환 탐지, 다중 저자 전환 탐지의 세 가지 스타일로미터 과제에서 성능 향상을 도모한다.
• 일반적으로 NLP 사전 처리 과정에서 제거되는 특수문자의 유지가 스타일로미터 분석 성능에 미치는 영향을 조사한다.
• 고급 최적화 기법을 활용해 모델 가중치를 최적화하는 공헌도 기반 융합 프레임워크를 개발하여 분류 정확도를 향상시킨다.
• 실제 다중 저자 문서에서 단일 및 다중 저자 전환 탐지를 모두 다루는 기존 연구를 확장한다.

제안 방법

• 트랜스포머 기반 모델(예: BERT, RoBERTa, DistilBERT)을 사용해 세 가지 스타일로미터 과제를 모두 텍스트 분류 문제로 재구성한다.
• 개별 모델의 예측을 가중 평균 방식으로 융합하는 후기 융합 전략을 구현한다.
• 입자군집최적화(PSO), 널더-미드 방법, 파웰의 방법을 포함한 세 가지 메타휴리스틱 최적화 기법을 사용해 모델 가중치를 최적화한다.
• 사전 처리의 영향을 평가하기 위해 청소된 데이터셋과 원본 데이터셋 모두에서 실험을 수행하며, 정지어, 약어, 구두점의 유지 여부를 중심으로 분석한다.
• 모든 과제에서 주요 평가 지표로 F1-스코어를 사용하여 기존 최고 성능 기술과의 성능을 비교한다.
• 표준 NLP 파이프라인에서 일반적으로 기각되는 스타일적 지표인 특수문자를 유지하기 위한 특징 공학 기법을 적용한다.

Figure 1: Single and multi-authored document samples: (a) single-authored document, (b) multi-authored document zangerle2021overview .

실험 결과

연구 질문

• RQ1 다양한 트랜스포머 모델을 융합하는 공헌도 기반 후기 융합 프레임워크가 개별 모델 대비 스타일로미터 과제에서 성능 향상에 기여하는가?
• RQ2 다른 최적화 기법(PSO, 널더-미드, 파웰)은 저자 소속 및 스타일 전환 탐지에서 융합 모델의 성능에 어떤 영향을 미치는가?
• RQ3 특수문자 및 정지어/단어의 축약어는 다중 저자 문서에서 저자 스타일을 구분하는 데 얼마나 기여하는가?
• RQ4 사전 처리 단계에서 원본 텍스트 특징(예: 구두점, 약어)을 유지할 경우 스타일로미터 분류 과제에서 측정 가능한 성능 향상이 발생하는가?
• RQ5 특히 다중 저자 전환 이벤트 탐지에서 제안된 방법의 성능는 다양한 스타일로미터 과제 간에 어떻게 변화하는가?

주요 결과

• PSO 및 널더-미드 기반 융합 방법은 청소된 데이터셋을 사용해 다중 저자 전환 탐지 과제(과제 3)에서 F1-스코어 0.5535를 기록하며, 기존 솔루션 대비 약 5% 높은 성능을 보였다.
• 과제 2(단일 저자 전환 탐지)에서는 단순 융합 방법이 F1-스코어 0.782를 기록하며, 기존 최고 성능 솔루션 대비 3% 향상된 성능을 보였다.
• 특수문자 및 정지어의 포함이 모델 성능 향상에 크게 기여했으며, 이들의 제거로 인해 모든 과제에서 F1-스코어가 뚜렷이 하락함을 확인했다.
• 널더-미드 및 PSO 기반 융합 방법은 개별 모델과 다른 융합 전략보다 특히 다중 저자 전환을 포함한 복잡한 과제에서 뛰어난 성능을 보였다.
• 과제 3에서 청소된 데이터셋과 원본 데이터셋 간 성능 격차가 미미했으며, 이는 특수문자를 유지할 경우 제안된 방법이 사전 처리 변동에 대해 강건함을 시사한다.
• BERT-base 모델은 과제 3에서 가장 높은 개별 성능(F1 = 0.5309, 청소된 데이터)을 기록했지만, 융합 방법이 이를 초월해 앙상블 학습이 스타일로미터 분야에서 효과적임을 입증했다.

Figure 2: A sample multi-authored document with a single author switching zangerle2021overview . The red line indicates the position where the author switches from author X to author Y.