[논문 리뷰] Author Identification using Multi-headed Recurrent Neural Networks

Douglas Bagnall|arXiv (Cornell University)|2015. 06. 16.

Authorship Attribution and Profiling참고 문헌 6인용 수 44

한 줄 요약

이 논문은 일반적인 언어 패턴을 모델링하는 공유된 순환층과 각 저자별 스타일적 특징에 특화된 독립적인 출력 헤드를 갖춘 다중 헤드 순환 신경망을 제안한다. 이 방법은 일반적인 언어 모델링과 저자별 스타일 학습을 효과적으로 균형 잡고 있어, PAN 2015 챌린지에서 네 개 언어 중 두 개 언어에서 최상위 성능을 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

Recurrent neural networks (RNNs) are very good at modelling the flow of text, but typically need to be trained on a far larger corpus than is available for the PAN 2015 Author Identification task. This paper describes a novel approach where the output layer of a character-level RNN language model is split into several independent predictive sub-models, each representing an author, while the recurrent layer is shared by all. This allows the recurrent layer to model the language as a whole without over-fitting, while the outputs select aspects of the underlying model that reflect their author's style. The method proves competitive, ranking first in two of the four languages.

연구 동기 및 목표

• 저자별로 제한된 훈련 데이터를 다룰 때 발생하는 도전 과제를 해결하기 위해.
• 저자 간 공유된 순환 표현을 통해 저자 식별의 일반화 성능을 향상시키기 위해.
• 작은 코퍼스에서 과적합을 피하면서도 저자별 스타일적 패턴을 효과적으로 학습할 수 있도록 하기 위해.
• 언어 모델링과 저자 예측을 분리한 확장성 있고 효율적인 아키텍처를 개발하기 위해.
• 다양한 언어에서 PAN 2015 저자 식별 벤치마크를 통해 방법을 평가하기 위해.

제안 방법

• 모든 훈련 텍스트에서 순차적인 언어 패턴을 모델링하기 위해 문자 수준의 순환 신경망(RNN)을 사용한다.
• 출력 레이어는 각각 특정 저자에 대해 다음 문자를 예측하는 데 전용된 다수의 독립적인 헤드로 분할된다.
• 순환 은닉 레이어는 모든 헤드 간에 공유되어 일반적인 언어 구조를 공동으로 학습한다.
• 각 출력 헤드는 공유된 은닉 표현의 서로 다른 측면에 주목함으로써 저자별 스타일 선호도를 학습한다.
• 모델은 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 각 헤드는 자신의 관련 저자에 대해 다음 문자 분포를 예측한다.
• 추론 과정에서는 주어진 텍스트 시퀀스에 대해 가장 높은 가능도를 가진 헤드를 선택한다.

실험 결과

연구 질문

• RQ1 저자별 훈련 데이터가 제한적인 상황에서 공유된 순환 레이어가 일반화 성능을 향상시킬 수 있는가?
• RQ2 공유된 언어 모델에서 저자별 예측 헤드를 분리함으로써 자원이 적은 저자 식별 작업에서 성능 향상이 이루어지는가?
• RQ3 PAN 2015 벤치마크에서 다중 헤드 RNN 아키텍처는 표준 RNN 및 기타 신경망 모델보다 어떻게 비교되는가?
• RQ4 다중 헤드 접근 방식이 어느 언어에서 가장 뚜렷한 향상을 보이는가?
• RQ5 작은 저자 전용 코퍼스에서 과적합을 피하면서도 스타일적 차이를 효과적으로 학습할 수 있는가?

주요 결과

• 모델은 PAN 2015 저자 식별 챌린지에서 평가된 네 개 언어 중 두 개 언어에서 최고 순위를 기록했다.
• 공유된 언어 모델링을 활용하면서도 저자별 예측 능력을 유지함으로써 다중 헤드 아키텍처가 표준 RNN을 능가했다.
• 순환 레이어에서 효과적인 가중치 공유 덕분에 자원이 적은 저자 식별 작업에서 뛰어난 일반화 성능을 보였다.
• 과적합이 주요 과제가 되는 저자별 훈련 데이터가 제한된 언어에서 특히 효과적이었다.
• 공유된 순환 인코더와 분리된 예측 헤드를 통해 성능과 내구성이 모두 향상됨을 시사한다.
• 모델의 성공은 다중 헤드 RNN이 자료가 적은 환경에서 저자 식별에 실현 가능하고 효과적인 아키텍처임을 시사한다.