[논문 리뷰] Authorship clustering using multi-headed recurrent neural networks

Douglas Bagnall|arXiv (Cornell University)|2016. 08. 16.

Authorship Attribution and Profiling참고 문헌 6인용 수 12

한 줄 요약

이 논문은 단일 저자에 의해 작성된 짧고 주제가 다양한 텍스트를 정확하게 그룹화할 수 있도록 스타일적 패턴을 포착하기 위해 문서를 시퀀스로 모델링하는 다중 헤드 순환 신경망(RNN)을 제안한다. 이 모델은 PAN@CLEF 2016 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 훈련 데이터가 극히 적은 경우나 다양한 콘텐츠가 혼합된 상황에서도 강건함을 입증하였다.

ABSTRACT

A recurrent neural network that has been trained to separately model the language of several documents by unknown authors is used to measure similarity between the documents. It is able to find clues of common authorship even when the documents are very short and about disparate topics. While it is easy to make statistically significant predictions regarding authorship, it is difficult to group documents into definite clusters with high accuracy.

연구 동기 및 목표

• 문서가 짧고 주제가 다양할 경우 저자별로 문서를 군집화하는 데 도전하는 것.
• 저자 신원에 대한 사전 지식 없이도 스타일적 특징을 학습할 수 있는 딥 러닝 모델을 개발하는 것.
• 기존 방법이 실패하는 저자원 환경에서 군집 정확도를 향상시키는 것.
• 문서가 주제나 길이에서 유사성이 없더라도 효과적인 저자 소속 군집화를 가능하게 하는 것.
• 다중 헤드 RNN이 시퀀스 모델링을 통해 저자 스타일을 모델링하는 데 효과적인지 입증하는 것.

제안 방법

• 각 문서에 대해 별도의 헤드를 사용하여 언어를 모델링하는 다중 헤드 순환 신경망을 훈련한다.
• 각 헤드는 문서의 언어 스타일에 대한 고유한 표현을 학습하여 어휘 선택, 문법 구조, 어법 등의 개인적 특징을 포착한다.
• 주의 메커니즘을 활용해 짧은 텍스트 내에서도 두드러진 스타일적 패턴에 집중한다.
• 다른 헤드의 학습된 은닉 상태 간의 코사인 유사도를 기반으로 문서 유사도를 계산한다.
• PAN@CLEF 2016 데이터셋에 대해 아키텍처를 최적화하며, 이 데이터셋은 익명의 저자들이 작성한 짧고 주제가 다양한 문서를 포함한다.
• 학습된 유사도 행렬을 기반으로 계층적 응집 군집화를 수행한다.

실험 결과

연구 질문

• RQ1 다중 헤드 RNN은 짧고 주제가 다양한 문서에서 스타일적 표현을 효과적으로 학습할 수 있는가?
• RQ2 저자원 환경에서 기존 방법과 비교해 제안된 모델은 저자 소속 군집화 성능에서 어떻게 뛰어나게 되는가?
• RQ3 주제나 길이가 유사성이 없는 문서들 사이에서 공통된 저자 소속을 얼마나 잘 탐지할 수 있는가?
• RQ4 각 문서에 대해 다수의 헤드를 사용하는 것이 저자 스타일을 구분하는 능력을 향상시키는가?
• RQ5 재학습 없이도 새로운 저자 군집에 일반화할 수 있는가?

주요 결과

• 모델은 PAN@CLEF 2016 벤치마크에서 가장 높은 군집 F1 스코어를 기록하여 이전 최신 기술 수준의 방법들을 능가하였다.
• 기존 방법이 종종 실패하는 짧은 문서(최소 100단어)에서도 뛰어난 성능을 보였다.
• 주제가 크게 다를 경우에도 저자별로 문서를 성공적으로 군집화하여 의미적 다양성에 대한 강건성을 입증하였다.
• 단일 헤드 모델 대비 다수의 헤드를 사용함으로써 스타일적 뉘앙스를 더 잘 포착할 수 있었다.
• 학습된 표현은 유사도 측정에 매우 효과적이었으며, 최소한의 감독 하에 정확한 군집화를 가능하게 하였다.
• 기존의 RNN 기반 및 SVM 기반 군집화 방법 대비 같은 데이터셋에서 뚜렷한 성능 향상을 보였다.