[논문 리뷰] Deep Bayes Factor Scoring for Authorship Verification

Benedikt Boenninghoff, Julian Rupp외 2명|arXiv (Cornell University)|2020. 08. 23.

Authorship Attribution and Profiling참고 문헌 18인용 수 5

한 줄 요약

이 논문은 팬픽션 텍스트에서의 저자 확인을 위해 시아모이드 신경망과 확률적 베이즈 요인 스코링을 융합한 엔드 투 엔드 딥 메트릭 러닝 프레임워크인 Deep Bayes Factor Scoring을 제안한다. 주제에 관계없이 일관된 스타일에 민감한 임bedding을 학습하고 잠재 공간에서 통계적 스코링을 적용함으로써, PAN 2020 AV 챌린지에서 최신 기술 수준의 성능을 달성하여 소규모 및 대규모 데이터셋 모두에서 모든 다른 시스템을 앞서 간다.

ABSTRACT

The PAN 2020 authorship verification (AV) challenge focuses on a cross-topic/closed-set AV task over a collection of fanfiction texts. Fanfiction is a fan-written extension of a storyline in which a so-called fandom topic describes the principal subject of the document. The data provided in the PAN 2020 AV task is quite challenging because authors of texts across multiple/different fandom topics are included. In this work, we present a hierarchical fusion of two well-known approaches into a single end-to-end learning procedure: A deep metric learning framework at the bottom aims to learn a pseudo-metric that maps a document of variable length onto a fixed-sized feature vector. At the top, we incorporate a probabilistic layer to perform Bayes factor scoring in the learned metric space. We also provide text preprocessing strategies to deal with the cross-topic issue.

연구 동기 및 목표

• 팬픽션 텍스트를 사용한 교차 주제, 폐쇄 집합 환경에서의 저자 확인 과제를 해결하기 위해 주제 변화로 인해 전통적인 스타일로 특징이 약화되는 문제를 다루기 위해.
• 다양한 글쓰기 주제에 걸쳐 일반화 능력을 향상시키기 위해 주제에 관계없는 스타일에 민감한 표현을 학습하는 딥 러닝 시스템을 개발하기 위해.
• 학습된 메트릭 공간에 확률적 베이즈 요인 스코링을 통합하여 신뢰할 수 있고 校정된 확인 결정을 가능하게 하기 위해.
• 장르, 정서 또는 위장 전략으로 인한 스타일 변형에 대비한 강건성을 향상시키면서도 높은 분류 능력을 유지하기 위해.
• 메트릭 러닝과 통계적 추론을 통합한 유일한 엔드 투 엔드 프레임워크를 구축하여 AV 성능을 향상시키기 위해.

제안 방법

• 변동 길이의 문서를 고정 크기의 특징 벡터로 매핑하기 위해 시아모이드 신경망 아키텍처를 사용하여 글쓰기 스타일을 포착하는 가짜 메트릭을 학습한다.
• 임베딩 공간에서 저자 간 거리를 최대화하고 동일 저자 간 거리를 최소화하기 위해 대비 손실(contrastive loss)을 사용하여 모델을 훈련한다.
• 학습된 임베딩 위에 확률적 레이어를 추가하여 베이즈 요인을 계산함으로써 통계적으로 근거가 있는 확인 결정을 가능하게 한다.
• 훈련 중에 문서 쌍을 무작위로 재조합함으로써 데이터 증강을 구현하여 훈련 데이터의 다양성과 강건성을 높인다.
• 주제에 특화된 노이즈를 줄이고 스타일 특징에 집중하기 위해 텍스트 전처리 전략을 적용한다.
• 테스트 시점에 앙상블 추론을 사용하여 CPU 메모리 사용량을 최소화하기 위해 모델을 순차적으로 평가한다.

실험 결과

연구 질문

• RQ1 딥 메트릭 러닝 프레임워크는 교차 주제 저자 확인에 적합한 주제에 관계없는 스타일에 민감한 표현을 학습할 수 있는가?
• RQ2 학습된 임베딩 공간에 베이즈 요인 스코링을 통합하면 성능 향상과 校정이 향상되는가?
• RQ3 제안된 방법은 팬픽션 텍스트에서 주제, 정서 또는 장르로 인한 스타일 변형을 얼마나 효과적으로 다룰 수 있는가?
• RQ4 무작위 쌍 재조합을 통한 데이터 증강이 모델의 일반화 능력과 강건성을 향상시키는가?
• RQ5 모델의 주의 집중이 문장 부호나 철자 오류와 같은 표면적 특징이 아닌 의미 있는 언어 패턴에 집중하는가?

주요 결과

• 제안된 방법은 대규모 데이터셋을 사용하여 테스트 세트에서 AUC 0.969를 달성하여 PAN 2020 저자 확인 챌린지에서 모든 다른 시스템을 앞서 간다.
• 대규모 훈련 데이터를 사용한 앙상블 모델은 테스트 세트에서 c@1 점수 0.928과 F1 점수 0.936을 기록하여 강력한 일반화 능력을 보였다.
• 엔트로피 곡선은 훈련 중에 동일 저자 간 변동성은 크게 감소하고 저자 간 변동성은 증가하는 경향을 보여, 효과적인 메트릭 러닝을 확인했다.
• 주의 히트맵은 모델이 기능어나 문장 부호보다는 맥락적 단어 사용과 어휘 반복에 주목하고 있음을 보여주어 스타일 패턴에 민감함을 시사한다.
• 다양한 팬픽션 텍스트에서 일관된 성능을 보이며 주제 이동과 장르 차이에 대비한 강건성을 입증했다.
• 소규모 데이터셋 모델은 제한된 데이터 조건에서도 높은 성능을 보였으며, 테스트 세트에서 AUC 0.940과 F1 0.906을 기록했다.