[논문 리뷰] Rethinking the Authorship Verification Experimental Setups

Florin Brad, Andrei Manolache외 4명|arXiv (Cornell University)|2021. 12. 09.

Authorship Attribution and Profiling인용 수 4

한 줄 요약

이 논문은 기존 벤치마크에서의 데이터 泄露 및 일반화 문제를 해결하기 위해 PAN 저자 확인 데이터셋에 대해 다섯 개의 새로운 점진적으로 더 어려운 분할을 제안한다. 주제와 문체적 편향을 분리하고 이름이 붙은 실체를 자리표시자로 대체함으로써 BERT 기반 모델은 일반화 성능을 향상시켰다 — 특히 도메인 외부인 DarkReddit 데이터셋에서 두드러진다. 이는 모델이 유사한 이름이 붙은 실체적 신호에 의존할 경우 분포 변화 상황에서 성능이 떨어지는 것을 보여준다.

ABSTRACT

One of the main drivers of the recent advances in authorship verification is the PAN large-scale authorship dataset. Despite generating significant progress in the field, inconsistent performance differences between the closed and open test sets have been reported. To this end, we improve the experimental setup by proposing five new public splits over the PAN dataset, specifically designed to isolate and identify biases related to the text topic and to the author's writing style. We evaluate several BERT-like baselines on these splits, showing that such models are competitive with authorship verification state-of-the-art methods. Furthermore, using explainable AI, we find that these baselines are biased towards named entities. We show that models trained without the named entities obtain better results and generalize better when tested on DarkReddit, our new dataset for authorship verification.

연구 동기 및 목표

• PAN 저자 확인 벤치마크에서 폐쇄세트와 오픈세트 간 성능 불일치 문제 해결.
• 기존 실험 설정에서 텍스트 주제 및 저자 문체 관련 편향을 분리하고 완화.
• 이름이 붙은 실체와 같은 유사한 특징에 대한 의존도를 줄임으로써 모델의 일반화 능력 향상.
• 교차 코퍼스 일반화 능력을 평가하기 위해 도메인 외부 데이터셋인 DarkReddit을 신규 도입.
• 대규모 모델 평가 및 향후 연구를 지원하기 위해 공개 가능하고 재현 가능한 분할 및 베이스라인 제공.

제안 방법

• 폐쇄세트에서 완전히 오픈세트 구성에 이르기까지 다양한 수준의 설정을 가진 다섯 개의 새로운 데이터셋 분할(폐쇄, 클로펜, 오픈 unseen authors, 오픈 unseen fandoms, 오픈 all) 설계.
• 기존의 BERT 기반 모델을 베이스라인으로 사용하여 훈련 분할에서 미세조정하고 다섯 개의 테스트 분할에서 일반화 능력을 평가.
• 모델의 주의 집중도를 분석하고 이름이 붙은 실체에 대한 의존도를 파악하기 위해 설명 가능한 AI(XAI) 기법인 통합 기울기(IG) 적용.
• 이름이 붙은 실체를 자리표시자([PERSON], [LOCATION] 등)로 대체하여 유사한 특징 학습 감소.
• PAN과 신규 도입된 DarkReddit 데이터셋에서 모델을 훈련 및 평가하여 분포 변화 상황에서의 제로샷 일반화 능력 테스트.
• BERT의 시퀀스 길이 제한 문제를 해결하기 위해 512자 토큰 청크 단위로 예측를 집계하여 장문의 문서 처리.

실험 결과

연구 질문

• RQ1 기존 PAN 데이터셋 분할이 폐쇄세트 평가에서 성능을 과도하게 높이는 데 기여하는 데이터 泄露 정도는 어느 정도인가?
• RQ2 BERT 기반 모델은 점점 더 오픈세트에 가까운 실험 설정에서 어떻게 성능을 내며, 이름이 붙은 실체를 제거한 상태에서 훈련하면 일반화 능력이 더 좋게 나타나는가?
• RQ3 이름이 붙은 실체는 저자 확인 결정에서 어떤 역할을 하는가? 그리고 그 제거가 모델의 강건성 향상에 기여하는가?
• RQ4 PAN에서 훈련한 모델은 DarkReddit와 같이 상당히 다른 도메인으로 일반화되는 데 얼마나 잘 성능을 내는가?
• RQ5 이름이 붙은 실체를 자리표시자로 대체하는 간단한 데이터 전처리 단계가 성능 향상과 더 나은 일반화에 실질적인 기여를 할 수 있는가?

주요 결과

• BERT 기반 모델은 클로펜 분할에서 97.4%의 경쟁력 있는 성능을 기록했고, 오픈 UF 분할에선 91.6%를 기록하여 비신경 기반 베이스라인을 능가하며 SOTA O2D2 결과에 근접했다.
• 이름이 붙은 실체를 제거한 상태에서 훈련한 모델은 DarkReddit 테스트 세트에서 F1 스코어가 5.6% 향상되어 분포 변화 상황에서의 더 나은 일반화 능력을 확인했다.
• 통합 기울기 분석 결과, 특히 오픈세트 상황에서 모델이 저자 확인 결정에 이름이 붙은 실체에 크게 의존하는 것으로 드러났다.
• 이름이 붙은 실체를 자리표시자로 대체함으로써 오픈 올 분할에서 전체 성능이 1.4점 향상(81.7에서 83.1)되었고, AUC는 91.1에서 94.3으로 상승했다.
• O2D2 모델은 가장 도전적인 오픈 올 분할에서 성능이 떨어졌지만, 이름이 붙은 실체를 제거한 상태에서 훈련한 BERT 모델은 훨씬 더 뛰어난 일반화 능력을 보였다.
• 이름이 붙은 실체를 제거한 경우 개발 세트의 성능이 테스트 세트 성능을 더 잘 예측하는 경향을 보였으며, 이는 유사한 특징에 대한 과적합 감소를 시사한다.