[논문 리뷰] Experiments with Neural Networks for Small and Large Scale Authorship Verification

Marjan Hosseinia, Arjun Mukherjee|arXiv (Cornell University)|2018. 03. 17.

Authorship Attribution and Profiling참고 문헌 6인용 수 8

한 줄 요약

이 논문은 소규모 데이터셋과 짧고 다양한 문서를 위한 저자 확인을 위한 두 가지 신경망 모델을 제안한다: 소규모 데이터셋에 적합한 변환 인코더(TE), 대규모 데이터셋에 적합한 병렬 순환 신경망(PRNN). TE는 한 문서를 다른 문서로 변환하는 데서 유도된 재구성 손실을 유사도 신호로 사용하며, PRNN은 문서 쌍의 학습된 언어 모델을 비교한다. 두 모델 모두 PAN, Amazon, ML 데이터셋에서 안정적이고 경쟁력 있는 성능을 기록하며, 더 큰 데이터셋에서 기존의 기준 모델들을 능가한다.

ABSTRACT

We propose two models for a special case of authorship verification problem. The task is to investigate whether the two documents of a given pair are written by the same author. We consider the authorship verification problem for both small and large scale datasets. The underlying small-scale problem has two main challenges: First, the authors of the documents are unknown to us because no previous writing samples are available. Second, the two documents are short (a few hundred to a few thousand words) and may differ considerably in the genre and/or topic. To solve it we propose transformation encoder to transform one document of the pair into the other. This document transformation generates a loss which is used as a recognizable feature to verify if the authors of the pair are identical. For the large scale problem where various authors are engaged and more examples are available with larger length, a parallel recurrent neural network is proposed. It compares the language models of the two documents. We evaluate our methods on various types of datasets including Authorship Identification datasets of PAN competition, Amazon reviews, and machine learning articles. Experiments show that both methods achieve stable and competitive performance compared to the baselines.

연구 동기 및 목표

• 저자에 대한 사전 글샘플이 제공되지 않을 경우, 특히 짧고 장르가 다양한 문서에 대해 저자 확인 문제를 해결한다.
• 제한된 학습 데이터, 짧은 문서 길이, 주제/장르의 다양성으로 인한 소규모 저자 확인 과제의 과제를 해결한다.
• 다양한 저자와 더 긴 문서를 포함한 대규모 데이터셋에서 효과적인 확장 가능한 신경망 모델을 개발한다.
• PAN 대회, 아마존 리뷰, 과학 논문을 포함한 다양한 데이터셋에서 모델을 평가한다.
• 공정한 비교를 위해 요약 벡터와 표준 기계학습 유사도 측정 방법을 사용해 강력한 기준 모델을 수립한다.

제안 방법

• 다른 문서에서 한 문서를 재구성하는 데 학습하는 변환 인코더(TE)를 제안하며, 재구성 손실을 저자 확인을 위한 분류 특징으로 사용한다.
• TE에서 생성된 오차 벡터를 기반으로 분류기(NB 또는 DT)를 훈련시켜 동일 저자/다른 저자 쌍을 구분한다.
• 두 입력 문서를 별도의 RNN 은닉 상태로 인코딩하고, 융합층을 통해 언어 모델을 비교하는 병렬 순환 신경망(PRNN) 아키텍처를 설계한다.
• 기준 모델 비교를 위해 요약 벡터를 사용하여 이진 저자 확인 작업을 표준 이진 분류 형식으로 변환한다.
• 소규모 데이터셋에서의 훈련 안정성을 향상시키기 위해 장문의 문서를 동일한 문장 조각으로 나누는 데이터 증강 기법을 적용한다.
• PRNN의 융합층 출력에서 결정 경계의 분리 정도를 분석하기 위해 t-SNE 시각화를 수행한다.

실험 결과

연구 질문

• RQ1 사전에 글샘플이 없는 상황에서 신경망 변환 모델이 저자 유사도를 효과적으로 학습할 수 있는가?
• RQ2 문서 변환에서 유도된 재구성 손실이 전통적인 유사도 측정 방법보다 저자 확인에서 어떻게 성능을 높이는가?
• RQ3 병렬 RNN 아키텍처가 대규모 저자 확인을 위해 문서 쌍의 언어 모델을 효과적으로 학습하고 비교할 수 있는가?
• RQ4 PRNN은 리뷰 및 과학 논문과 같은 다양한 도메인에 일반화 잘 되는가?
• RQ5 제안된 모델은 소규모 및 대규모 저자 확인 벤치마크에서 기존 기준 모델 대비 어떻게 성능을 내는가?

주요 결과

• 변환 인코더(TE)는 크기, 장르, 주제의 차이가 있더라도 네 개의 PAN 데이터셋 전반에서 안정적인 성능을 기록한다.
• 아마존 리뷰 데이터셋에서 PRNN은 모든 기준 모델을 능가하며 최고의 정확도를 기록한다. 이는 더 큰 학습 데이터 크기와 상관관계가 있다.
• PAN2013 및 PAN2014E에서 PRNN은 두 번째로 높은 정확도를 기록했으며, 문서 분할 및 데이터 증강으로 인해 학습 불안정성이 완화되었다.
• t-SNE 시각화 결과, 양성 및 음성 클래스는 대부분 분리되어 있지만, 희귀 영역에서는 일부 겹침이 발생하여 잠재적인 오분류 사례가 있음을 시사한다.
• SVM은 TE 기반 분류에서 NB 및 DT보다 성능이 열 劣한 편이었으며, 이는 저차원 오차 벡터(≤7 features)에서의 낮은 성능 때문일 가능성이 크다.
• 충분한 학습 데이터가 제공될 경우 PRNN 모델은 과적합을 피하며 대규모 데이터셋에서 뛰어난 내구성을 보였다.