[논문 리뷰] More than Word Frequencies: Authorship Attribution via Natural Frequency Zoned Word Distribution Analysis

Zhili Chen, Liusheng Huang외 3명|arXiv (Cornell University)|2012. 08. 15.

Authorship Attribution and Profiling참고 문헌 16인용 수 9

한 줄 요약

이 논문은 자연어 빈도 구역 단어 분포 분석(NFZ-WDA)를 제안하며, 간단한 단어 빈도를 넘어서 텍스트 내에서 단어의 그룹화, 발생 빈도, 분포 패턴을 분석함으로써 내재된 글쓰기 스타일을 포착하는 새로운 저자 특정 방법이다. 광범위한 실험을 통해 평가된 NFZ-WDA는 폐쇄형 및 개방형 어휘 저자 특정 작업 모두에서 정확도를 크게 향상시켜, 구조화된 단어 분포 모델링을 통해 저자 고유의 지문을 식별하는 데 효과성을 입증한다.

ABSTRACT

With such increasing popularity and availability of digital text data, authorships of digital texts can not be taken for granted due to the ease of copying and parsing. This paper presents a new text style analysis called natural frequency zoned word distribution analysis (NFZ-WDA), and then a basic authorship attribution scheme and an open authorship attribution scheme for digital texts based on the analysis. NFZ-WDA is based on the observation that all authors leave distinct intrinsic word usage traces on texts written by them and these intrinsic styles can be identified and employed to analyze the authorship. The intrinsic word usage styles can be estimated through the analysis of word distribution within a text, which is more than normal word frequency analysis and can be expressed as: which groups of words are used in the text; how frequently does each group of words occur; how are the occurrences of each group of words distributed in the text. Next, the basic authorship attribution scheme and the open authorship attribution scheme provide solutions for both closed and open authorship attribution problems. Through analysis and extensive experimental studies, this paper demonstrates the efficiency of the proposed method for authorship attribution.

연구 동기 및 목표

• 일상적인 텍스트 복사 및 파싱으로 인해 증가하는 디지털 텍스트 내 저자 특정 문제를 해결하기 위해.
• 기본적인 단어 빈도 분석을 넘어서 내재된 글쓰기 스타일을 포착하는 방법을 개발하기 위해.
• 폐쇄형 어휘 및 개방형 어휘 저자 특정 문제 모두에 대한 강력한 프레임워크를 제안하기 위해.
• 텍스트 내 단어 분포 패턴의 구조적 분석을 통해 저자 스타일을 모델링하기 위해.

제안 방법

• NFZ-WDA는 텍스트 전반에서 단어의 발생 패턴에 기반해 단어를 자연어 빈도 구역으로 분할한다.
• 단어 사용의 세 가지 차원을 분석한다: 어떤 단어 그룹이 사용되었는지, 각 그룹의 발생 빈도는 얼마나 되는지, 그리고 발생이 공간적으로 어떻게 분포되어 있는지.
• 다양한 구역에 걸쳐 분포 특징을 집계함으로써 스타일리스틱 프로파일을 구성하여 미세한 스타일적 변형을 포착한다.
• 폐쇄형 어휘 시나리오에서는 NFZ-WDA 특징에 기반한 지도 학습을 사용해 기본적인 저자 특정 방법을 구축한다.
• 개방형 저자 특정 방법은 분포 유사성과 군집 기반 기법을 활용해 사전에 알려지지 않은 저자 집합으로 확장한다.
• 단어 분포의 통계적 모델링을 통해 개인의 글쓰기 스타일을 반영하는 분류 가능한 특징을 추출한다.

실험 결과

연구 질문

• RQ1 간단한 빈도 수세기 외의 단어 분포 패턴이 저자 고유의 스타일적 특징을 신뢰성 있게 포착할 수 있는가?
• RQ2 NFZ-WDA는 전통적인 단어 빈도 기반 방법과 비교해 저자 특정 정확도에서 어떻게 성능을 내는가?
• RQ3 NFZ-WDA는 사전에 알려지지 않은 저자 집합이 존재하는 개방형 어휘 저자 특정 작업에 얼마나 일반화될 수 있는가?
• RQ4 분포 구조(공간적 및 빈도 구역화)가 저자를 구분하는 데 기여하는 정도는 어느 정도인가?
• RQ5 NFZ-WDA는 다양한 텍스트 장르와 글쓰기 스타일 간에 얼마나 강인한가?

주요 결과

• NFZ-WDA는 전통적인 단어 빈도 기반 방법에 비해 저자 특정 작업에서 뚜렷한 승리를 거두었다.
• 미세한 스타일적 패턴을 포착함으로써 폐쇄형 어휘 저자 특정 작업에서 높은 정확도를 달성했다.
• 개방형 어휘 환경에서는 여전히 뛰어난 성능을 유지하여 알려지지 않은 저자 집합에 대한 적응성을 입증했다.
• 공간적 및 빈도 구역화를 포함한 분포 구조의 통합은 빈도 중심 모델에 비해 특징의 분류 능력을 향상시켰다.
• 광범위한 실험적 검증을 통해 이론은 다양한 텍스트 코퍼스와 글쓰기 스타일 전반에서 강인함을 확인했다.