[논문 리뷰] Syntactic Recurrent Neural Network for Authorship Attribution

Fereshteh Jafariakinabad, Sansiri Tarnpradab외 1명|arXiv (Cornell University)|2019. 02. 26.

Authorship Attribution and Profiling참고 문헌 32인용 수 13

한 줄 요약

이 논문은 문단 수준의 글쓰기 스타일을 모델링하기 위해 부사어 품사(POS) 태그 시퀀스를 사용하는 문법적 순환 신경망을 제안한다. 이는 짧은 기간의 의존성에 대해 컨볼루션 필터(짧은 기간 의존성 모델링)와 LSTMs(긴 기간 의존성 모델링)를 모두 활용하며, 문장 수준의 표현을 RNN을 통해 문서 수준의 임베딩으로 요약한다. 이 모델은 PAN 2012 저자 할당 데이터셋에서 어휘 기반 모델 대비 14% 높은 정확도를 기록하여 주제 변화에 대한 강건성의 우수성을 입증한다.

ABSTRACT

Writing style is a combination of consistent decisions at different levels of language production including lexical, syntactic, and structural associated to a specific author (or author groups). While lexical-based models have been widely explored in style-based text classification, relying on content makes the model less scalable when dealing with heterogeneous data comprised of various topics. On the other hand, syntactic models which are content-independent, are more robust against topic variance. In this paper, we introduce a syntactic recurrent neural network to encode the syntactic patterns of a document in a hierarchical structure. The model first learns the syntactic representation of sentences from the sequence of part-of-speech tags. For this purpose, we exploit both convolutional filters and long short-term memories to investigate the short-term and long-term dependencies of part-of-speech tags in the sentences. Subsequently, the syntactic representations of sentences are aggregated into document representation using recurrent neural networks. Our experimental results on PAN 2012 dataset for authorship attribution task shows that syntactic recurrent neural network outperforms the lexical model with the identical architecture by approximately 14% in terms of accuracy.

연구 동기 및 목표

• 다양한 주제를 다룰 때 어휘 기반 모델의 확장성 한계를 해결하기 위해.
• 문서 전반에 걸쳐 일관된 글쓰기 스타일을 포착하는 내용에 의존하지 않는, 문법적으로 기반을 둔 신경망을 개발하기 위해.
• POS 태그 시퀀스에서 짧은 기간(컨volutional 네트워크, CNN)과 긴 기간(LSTM) 의존성을 결합하는 것이 스타일 모델링에 어떻게 영향을 미치는지 조사하기 위해.
• 짧은 문서와 긴 문서에서의 성능 평가 및 문법적 모델링과 어휘 기반 모델링 접근 방식의 비교를 위해.

제안 방법

• 모델은 각 문장을 부사어 품사(POS) 태그의 시퀀스로 변환하여 문법적 패턴을 추출한다.
• 국소적이고 짧은 기간의 문법 n-그램을 POS 시퀀스에서 캡처하기 위해 컨볼루션 신경망(CNN) 레이어를 사용한다.
• POS 시퀀스 전반에 걸친 장기 의존성을 모델링하기 위해 LSTM 레이어를 활용하여 전반적인 문법적 구조를 포착한다.
• 문장 수준의 문법적 표현을 계층적 RNN을 사용하여 문서 수준의 표현으로 요약한다.
• 저자 할당 검출에 가장 유용한 문장을 강조하기 위해 주의 메커니즘을 적용한다.
• 최종 문서 표현은 소프트맥스 출력을 갖는 완전 연결 레이어를 통해 분류에 사용된다.

실험 결과

연구 질문

• RQ1 주제 변화가 있는 상황에서, 특히 주제 변화에 강건한 어휘 기반 모델보다 문법적 신경망이 더 뛰어난 성능을 보일 수 있는가?
• RQ2 POS 시퀀스의 짧은 기간(CNN)과 긴 기간(LSTM) 모델링이 스타일 기반 분류 성능에 어떻게 영향을 미치는가?
• RQ3 특히 짧은 텍스트와 긴 텍스트에서, 부분 문서로 훈련할 경우 모델 성능은 어떻게 변화하는가?
• RQ4 다양한 문서 길이 범위에서, CNN-LSTM 또는 LSTM-LSTM 아키텍처 중 어느 것이 저자적 글쓰기 스타일을 더 잘 포착하는가?

주요 결과

• 문법적 순환 신경망은 PAN 2012 테스트 세트에서 문서 수준 정확도 100.00%를 기록하여 가장 뛰어난 어휘 기반 모델(85.71%)을 초월했다.
• 문법적 모델은 어휘 기반 모델 대비 세그먼트 수준 정확도를 14% 향상시켜 주제 변화에 대한 일반화 능력과 강건성을 높게 입증했다.
• 세그먼트 수준 정확도에서 CNN-LSTM 모델이 LSTM-LSTM 모델보다 약 4% 높게 성능을 냈으며, 이는 국소적 문법 n-그램을 더 잘 포착했음을 시사한다.
• 짧은 문서(<30%의 세그먼트가 훈련에 사용된 경우), LSTM-LSTM 모델이 CNN-LSTM 모델보다 더 높은 테스트 정확도를 기록하여, 데이터가 적은 환경에서 더 빠른 스타일 학습 능력을 보였다.
• 문법적 모델은 모든 클래스에서 높은 재현율을 보였으며, CNN-LSTM과 LSTM-LSTM 모두 14개의 테스트 문서를 모두 정확히 분류했다.
• 두 문법적 모델 모두 대부분의 클래스에서 완벽한 재현율을 달성했지만, 클래스 13에서는 약간의 감소가 관찰되었고, 어휘 기반 모델은 클래스 1, 4, 7, 11, 12에서 더 어려움을 겪었다.