[논문 리뷰] Higher Criticism for Discriminating Word-Frequency Tables and Testing Authorship

Alon Kipnis|arXiv (Cornell University)|2019. 10. 30.

Authorship Attribution and Profiling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 수작업 특징 공학 없이 단어 빈도 표 간의 이질성을 측정하기 위해 고차비교(HC) 통계량을 사용하는 새로운 자동화된 저자 할당 방법을 제안한다. 단어 빈도에 이항 모델을 적용하고 HC의 저분산 저자 특이 단어에 대한 민감도를 활용하여, 저자 스타일에 따라 주제 구조와는 다를 바 있는 특징을 반영하는 분류 기준이 되는 단어를 자동으로 선별함으로써, 수작업 특징 공학 없이도 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

We adapt the Higher Criticism (HC) goodness-of-fit test to measure the closeness between word-frequency tables. We apply this measure to authorship attribution challenges, where the goal is to identify the author of a document using other documents whose authorship is known. The method is simple yet performs well without handcrafting and tuning; reporting accuracy at the state of the art level in various current challenges. As an inherent side effect, the HC calculation identifies a subset of discriminating words. In practice, the identified words have low variance across documents belonging to a corpus of homogeneous authorship. We conclude that in comparing the similarity of a new document and a corpus of a single author, HC is mostly affected by words characteristic of the author and is relatively unaffected by topic structure.

연구 동기 및 목표

• 수작업 특징 선택을 피하고, 조정 없이도 자동화된 저자 할당 방법을 개발하기 위해.
• 고차비교 통계량이 저자 할당 과제에서 두 단어 빈도 표 간의 유사도를 효과적으로 측정할 수 있는가 평가하기 위해.
• HC가 선별한 단어들이 주제에 의존하는 특징이 아니라 저자 특유의 특징인가를 조사하기 위해.
• 이 방법이 사전 특징 공학 없이 최신 기술 수준의 성능을 보임을 입증하기 위해.

제안 방법

• 문서의 단어 빈도를 기준 코퍼스의 빈도와 비교하는 이항 분배 모델을 사용해 단어 수준의 P-값을 계산한다.
• 이 P-값들을 고차비교(HC) 통계량을 적용하여 두 단어 빈도 표 간의 전반적 이질성 측도인 d_HC로 집계한다.
• HC 검정은 이질성에 가장 기여하는 단어의 부분집합을 내재적으로 식별하며, 이는 동질적인 코퍼스 내에서 문서 간에 낮은 분산을 보이는 단어들임이 확인된다.
• 저자 할당은 테스트 문서에 대해 가장 낮은 d_HC 점수를 보이는 코퍼스를 선택하여 수행된다.
• 이 방법은 초기 조정 없이도 여러 저자 할당 과제에 적용되었으며, 연방지수지 문제에도 적용되었다.
• 선택된 단어들이 저자 스타일을 반영하는지 여부를 평가하기 위해 코퍼스 내 단어 빈도의 변동계수(CV)를 평가한다.

실험 결과

연구 질문

• RQ1 고차비교 통계량은 저자 할당 과제에서 단어 빈도 표 간의 이질성 측도로 효과적으로 작용할 수 있는가?
• RQ2 HC 검정이 선별한 단어들이 주제 의존적 특징이 아니라 저자 특유의 특징인가?
• RQ3 HC 기반 방법의 성능은 조정 없이도 기존 최신 기술 수준의 접근법과 비교해 어떻게 되는가?
• RQ4 HC 이질성 측도는 어느 정도 저자 특유의 단어들에 의해 영향을 받는가, 주제 구조적 특징에 의해 영향을 받는가?

주요 결과

• HC 기반 방법은 수작업 특징 선택이나 하이퍼파rameter 조정 없이도 저자 할당 과제에서 최신 기술 수준의 정확도를 달성한다.
• HC가 선별한 단어들은 동질적인 저자 코퍼스 내에서 유의미하게 낮은 변동계수(CV)를 보이며, 이는 안정적이고 저자 특유임을 시사한다.
• 이 방법은 코퍼스 내에서 분산이 낮은 단어들에 가장 민감하게 반응하므로, 주제 관련 변동이 아닌 저자 스타일을 포착하는 것으로 나타났다.
• 동일 저자 쌍의 문서-코퍼스 쌍에서는 낮은 HC P-값 순위에 있는 단어들의 평균 CV가 이질적인 쌍보다 유의미하게 낮게 나타나, 방법의 저자 특유 특징에 대한 민감도를 확인한다.
• HC 임계값은 일관되게 낮은 CV를 보이는 단어 부분집합을 식별하며, 이 부분집합은 저자 특유의 단어 사용 패턴과 강한 상관관계를 보인다.