[논문 리뷰] Authorship Attribution Using a Neural Network Language Model

Zhenhao Ge, Yufang Sun외 1명|arXiv (Cornell University)|2016. 02. 17.

Authorship Attribution and Profiling참고 문헌 4인용 수 9

한 줄 요약

이 논문은 제한된 텍스트 데이터를 사용하여 저자 할당을 위한 피드포워드 신경망 언어 모델(이하 NNLM)을 제안하며, Kneser-Ney 스무딩을 적용한 전통적인 N-그램 모델보다 뛰어난 성능을 보인다. 최소 5개 문장의 테스트 세트에서도 평균 3.43%의 정확도 향상과 2.5%의 퍼플렉서티 감소를 달성하여 데이터 제약 조건 하에서도 뛰어난 성능을 입증한다.

ABSTRACT

In practice, training language models for individual authors is often expensive because of limited data resources. In such cases, Neural Network Language Models (NNLMs), generally outperform the traditional non-parametric N-gram models. Here we investigate the performance of a feed-forward NNLM on an authorship attribution problem, with moderate author set size and relatively limited data. We also consider how the text topics impact performance. Compared with a well-constructed N-gram baseline method with Kneser-Ney smoothing, the proposed method achieves nearly 2:5% reduction in perplexity and increases author classification accuracy by 3:43% on average, given as few as 5 test sentences. The performance is very competitive with the state of the art in terms of accuracy and demand on test data. The source code, preprocessed datasets, a detailed description of the methodology and results are available at https://github.com/zge/authorship-attribution.

연구 동기 및 목표

• 기존 언어 모델이 어려움을 겪는 저데이터 환경에서 저자 할당 정확도를 향상시키는 것.
• Kneser-Ney 스무딩을 적용한 전통적인 N-그램 모델과 비교해 피드포워드 NNLM의 효과성을 평가하는 것.
• 텍스트 주제가 저자 분류 성능에 미치는 영향을 조사하는 것.
• 제한된 데이터 환경에 적합한 계산 효율적이고 커스터마이징 가능한 NNLM 프레임워크를 개발하는 것.
• 재현 가능성과 향후 연구를 위해 오픈소스 코드와 데이터셋을 제공하는 것.

제안 방법

• 4-그램 문맥을 사용하여 다음 단어를 예측하는 피드포워드 신경망 언어 모델을 훈련하며, 단어 임베딩은 역전파를 통해 학습된다.
• 단어 입력은 원-핫 벡터로 표현되며, 임bedding 레이어를 통해 조밀한 분포 표현으로 변환된다.
• 모델은 은닉층에 시그모이드 활성화 함수를 사용하고, 출력층은 소프트맥스를 사용하여 단어 확률을 예측하며, 훈련은 다항 교차 엔트로피 손실 함수에 의해 이끌린다.
• 학습률, 모멘터럼, 은닉층 크기와 같은 모델 하이퍼파라미터는 각 저자별로 최적화하여 성능을 향상시킨다.
• STEM 분야의 16개 커서라 강의에서 수집한 텍스트 데이터는 포터 스탠딩과 단어 빈도 필터링을 통해 각 저자당 어휘 크기를 1800~2700단어로 축소한다.
• 데이터셋은 80% 훈련, 10% 검증, 10% 테스트로 분할되며, 성능 지표의 평균과 분산을 계산하기 위해 10개의 랜덤 분할을 수행한다.

실험 결과

연구 질문

• RQ1 제한된 데이터 조건에서 Kneser-Ney 스무딩을 적용한 잘 튜닝된 N-그램 기반 모델과 비교해, 피드포워드 NNLM의 저자 할당 성능은 어떻게 되는가?
• RQ2 텍스트 주제가 저자 할당 모델의 성능에 어느 정도의 영향을 미치는가?
• RQ3 계산 효율적인 피드포워드 NNLM이 최소한의 훈련 데이터로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 분류에 사용되는 테스트 문장 수가 늘어남에 따라 모델 성능은 어떻게 변화하는가?
• RQ5 기존 N-그램 모델에 비해 NNLM이 저자 스타일에 더 민감한가, 아니면 주제 기반 패턴에 더 민감한가?

주요 결과

• 제안된 NNLM은 Kneser-Ney 스무딩을 적용한 N-그램 기반 모델 대비 평균 3.43% 높은 저자 분류 정확도를 달성했다.
• NNLM는 평균 2.5%의 퍼플렉서티 감소를 보였으며, N-그램 모델의 평균 퍼플렉서티 69.0 ± 2.4 대비 67.3 ± 2.4를 기록했다.
• 최소 5개의 테스트 문장에서도 NNLM는 뛰어난 성능을 유지하여 낮은 데이터 양에 대한 강건성을 입증했다.
• 동일한 인structor가 강의한 두 과정 간의 혼동이 더 높게 나타나, 모델이 저자 스타일에 더 민감한 것으로 나타났다.
• 제한된 저자 수와 일관된 훈련/테스트 데이터 분포를 고려할 때, 최신 기술 수준의 방법과 경쟁적으로 일관된 성능을 유지했다.
• 결과적으로, 훈련 및 테스트 세트 간 주제 일관성이 높을 경우 데이터셋의 과제가 감소할 수 있으며, 이는 관측된 성능 격차를 제한할 수 있음을 시사한다.