[논문 리뷰] Assessing the Stylistic Properties of Neurally Generated Text in Authorship Attribution

Enrique Manjavacas, Jeroen De Gussem외 2명|arXiv (Cornell University)|2017. 08. 18.

Authorship Attribution and Profiling참고 문헌 20인용 수 3

한 줄 요약

이 논문은 순환 신경망 언어 모델(RNNLM)과 n-gram 언어 모델(NGLM)을 사용하여 저작권 속성 추론를 위한 신경망으로 생성된 텍스트의 스타일 적합성을 평가한다. RNNLM으로 생성된 텍스트는 NGLM 출력보다 더 흐릿하고 정확도가 떨어지지만, 실제 데이터만으로는 달리 스타일적으로 뉘앙스가 뚜렷하고 다양한 훈련 예제를 도입함으로써 분류기의 일반화 능력을 향상시켜 데이터 증강 시나리오에서 성능을 크게 향상시킨다.

ABSTRACT

Recent applications of neural language models have led to an increased interest in the automatic generation of natural language. However impressive, the evaluation of neurally generated text has so far remained rather informal and anecdotal. Here, we present an attempt at the systematic assessment of one aspect of the quality of neurally generated text. We focus on a specific aspect of neural language generation: its ability to reproduce authorial writing styles. Using established models for authorship attribution, we empirically assess the stylistic qualities of neurally generated text. In comparison to conventional language models, neural models generate fuzzier text that is relatively harder to attribute correctly. Nevertheless, our results also suggest that neurally generated text offers more valuable perspectives for the augmentation of training data.

연구 동기 및 목표

• 신경망으로 생성된 텍스트의 스타일적 성질을 저작권 속성 추론 맥락에서 체계적으로 평가하기 위해.
• 전통적인 n-gram 언어 모델(NGLM)과 비교하여 신경망 언어 모델(RNNLM)이 저작자 스타일을 얼마나 잘 유지하는지 평가하기 위해.
• 특히 참조 데이터가 제한된 저자들에 대해 신경망으로 생성된 텍스트가 저작권 속성 추론을 위한 효과적인 훈련 데이터 증강 수단이 될 수 있는지 평가하기 위해.
• 생성된 텍스트의 스타일 적합성과 다양성 간의 상충 관계가 분류기 성능에 미치는 영향을 조사하기 위해.

제안 방법

• RNNLM 및 NGLM 아키텍처를 사용한 문자 수준 언어 모델링을 통한 텍스트 생성.
• 다항 분포에서의 샘플링을 통해 온도 조절을 통한 다양성과 유창성의 균형을 확보.
• 실제 텍스트, 생성된 텍스트, 그리고 실제+생성된 데이터를 조합한 데이터로 저작권 속성 추론 분류기를 훈련하고 성능 평가.
• 문서 벡터화 및 주성분 분석(PCA) 시각화를 위해 정규화된 n-gram 빈도(2–4차)를 스타일적 특징으로 사용.
• 다양한 저자들 간에 진짜 텍스트와 생성된 텍스트 간의 어휘적 겹침을 측정하기 위해 자카르 유사도를 적용.
• 실제 텍스트와 생성된 텍스트 샘플 간의 스타일 분포 이동을 확인하기 위해 주성분 분석(PCA)을 적용.

실험 결과

연구 질문

• RQ1 한 명의 저자 작품에서 생성된 텍스트가 표준 저작권 속성 추론 방법으로 여전히 원래 저자로 속성 부여될 수 있는 정도는 어느 정도인가?
• RQ2 RNNLM으로 생성된 텍스트의 스타일 품질이 진짜 원본 자료와 비교해 얼마나 유사한가?
• RQ3 신경망으로 생성된 텍스트를 훈련 데이터 증강에 활용할 경우 저작권 속성 추론 성능이 어떻게 향상되는가?
• RQ4 n-gram 겹침과 분포 유사도 측정을 통해 생성된 텍스트가 원본 저자의 어휘적 및 문법적 특징을 어느 정도 유지하는가?

주요 결과

• RNNLM로 생성된 텍스트는 진짜 텍스트와는 유의미하게 다른 n-gram 빈도 분포를 보이며, 이는 스타일의 흐릿함과 직접적 속성 부여 정확도 저하를 시사한다.
• NGLM로 생성된 텍스트는 원본 코퍼스의 n-gram 빈도 분포를 거의 정확히 반영하여 고립된 상태에서 더 높은 속성 부여 정확도를 보인다.
• 데이터 증강 설정에서는 RNNLM로 생성된 데이터가 실제 데이터만 사용하는 것보다 성능 향상이 뚜렷하게 관찰되며, 이 경우 NGLM로 생성된 데이터보다도 성능이 뛰어나다.
• 자카르 유사도 분석 결과, NGLM로 생성된 텍스트는 RNNLM로 생성된 텍스트보다 진짜 텍스트와 훨씬 더 높은 어휘적 겹침을 보이며, 이는 후자의 더 큰 스타일적 이질성을 확인한다.
• PCA 시각화 결과 RNNLM로 생성된 데이터는 스타일 공간에서 더 넓고 산만한 영역을 차지함을 확인하여 더 높은 다양성과 복잡성을 시사한다.
• 결과적으로 RNNLM 출력의 '흐릿함'은 데이터 증강을 위해 사용될 경우 분류기의 일반화 능력을 향상시키는 유의미한 스타일 변동성을 제공한다.