[논문 리뷰] A Machine Learning Framework for Authorship Identification From Texts

Rahul Radhakrishnan Iyer, Carolyn Penstein Rosé|arXiv (Cornell University)|2019. 12. 21.

Authorship Attribution and Profiling참고 문헌 20인용 수 8

한 줄 요약

이 논문은 어조적 특징, 특히 품사(POS) 이중어 및 문자 n-그램을 포함한 어휘적 특징(예: 단어 단일어 및 이중어)을 사용하여 저자 식별을 위한 지도 학습 기반 기계학습 프레임워크를 제안한다. 50명의 저자에 대해 보류 테스트 세트에서 81.6%의 정확도를 기록하며, 언어학적 어조적 특징을 통합함으로써 기준 단일어 모델 대비 분류 성능이 크게 향상됨을 보여준다.

ABSTRACT

Authorship identification is a process in which the author of a text is identified. Most known literary texts can easily be attributed to a certain author because they are, for example, signed. Yet sometimes we find unfinished pieces of work or a whole bunch of manuscripts with a wide variety of possible authors. In order to assess the importance of such a manuscript, it is vital to know who wrote it. In this work, we aim to develop a machine learning framework to effectively determine authorship. We formulate the task as a single-label multi-class text categorization problem and propose a supervised machine learning framework incorporating stylometric features. This task is highly interdisciplinary in that it takes advantage of machine learning, information retrieval, and natural language processing. We present an approach and a model which learns the differences in writing style between $50$ different authors and is able to predict the author of a new text with high accuracy. The accuracy is seen to increase significantly after introducing certain linguistic stylometric features along with text features.

연구 동기 및 목표

• 비교적 강인한 기계학습 프레임워크를 개발하여, 미리 보지 못한 텍스트의 저자를 어조적 및 언어학적 특징을 기반으로 식별하는 것.
• 특히 POS 이중어를 포함한 새로운 특징 공간의 효과성을 조사하여 저자 식별 정확도 향상 여부를 검토하는 것.
• 텍스트 특징(예: 단일어, 이중어)과 어조적 특징(예: 기능어, n-그램)을 조합함으로써 분류 성능에 미치는 영향을 평가하는 것.
• 보류 테스트 세트에서의 일반화 성능을 평가하고 최적화된 모델을 기준 모델과 비교하는 것.
• 짧은 텍스트나 비영어 코퍼스 처리에 대한 한계를 탐색하고未래 연구 방향을 도출하는 것.

제안 방법

• 저자 식별 문제를 단일 레이블 다중 분류 텍스트 분류 문제로 정의한다.
• 텍스트 특징(단어 단일어, 이중어)과 어조적 특징(기능어, 문자 n-그램, POS 이중어, 단어-POS 쌍)의 조합을 기반으로 훈련된 LibLINEAR SVM 분류기를 사용한다.
• 초기화수치 조정 및 모델 선택을 위해 10겹 교차검증을 적용하며, 편향 항목만을 조정 파rameter로 사용한다.
• 모델 최적화 및 일반화 성능 향상을 위해 특징 선택을 수행한다.
• 교차검증 및 조정 이후 최종 평가를 위해 보류 테스트 세트를 활용한다.
• 최적화된 모델이 기준 모델 대비 성능 향상 여부를 평가하기 위해 통계적 유의성 검정(t-검정, p-값)을 실시한다.

실험 결과

연구 질문

• RQ1 POS 이중어를 특징 공간에 통합함으로써 저자 식별 정확도가 유의미하게 향상될 수 있는가?
• RQ2 기능어 및 문자 n-그램과 같은 어조적 특징의 포함 여부가 기준 텍스트 특징만을 사용한 경우와 비교해 분류 성능에 어떤 영향을 미치는가?
• RQ3 모델의 성능이 새로운 데이터에 대해 일반화되는가? 기준 모델(단일어만 사용)과 비교해 어떻게 다른가?
• RQ4 짧은 텍스트(예: 마이크로블로그 게시물)나 비영어 코퍼스에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 특징 공학 및 모델 최적화로 달성된 성능 향상의 통계적 유의성은 무엇인가?

주요 결과

• 최적화된 모델은 보류 테스트 세트에서 81.6%의 정확도와 코헨의 카파 0.8122를 기록하였으며, 기준 모델의 79.8% 정확도 및 0.7939 카파를 초월하였다.
• 정확도 향상은 통계적으로 유의미하지 않았다(p = 0.106, t = -1.619). 이는 성능 향상이 있었지만, 우연과의 차이가 신뢰성 있게 구분되지 않을 수 있음을 시사한다.
• 성능이 가장 뛰어난 모델은 편향 항목을 1로 설정한 것으로, 이는 기본 설정이었으며 이 경우 초기화수치 조정이 필요로 하지 않았음을 의미한다.
• 오류 분석 결과, 어조적 특징의 통합이 모델 성능 향상에 유의미하게 기여했으며, 이러한 특징이 저자 스타일의 강력한 지표임을 지지하는 결과를 도출하였다.
• POS 이중어 및 단어-POS 쌍의 사용은 성능 향상에 기여하였으며, 이는 문법적 패턴이 신뢰할 수 있는 어조적 지표임을 시사한다.
• 모델은 비교적 잘 일반화되어 있으며, 테스트 인스턴스의 80% 이상이 정확하게 분류되었지만, 매우 짧은 텍스트나 비영어 언어에서는 여전히 한계가 존재한다.