[논문 리뷰] Is language evolution grinding to a halt?: Exploring the life and death of words in English fiction.

Eitan Adam Pechenick, Christopher M. Danforth외 1명|arXiv (Cornell University)|2015. 03. 11.

Language and cultural evolution인용 수 3

한 줄 요약

이 연구는 1820년에서 2000년 사이의 2012년 영문 소설 코퍼스에서 구글 북스 코퍼스의 단어 탄생 및 사라짐 비율을 분석하며, 빈도 임계값을 기준으로 제닝스-숄런 분산을 사용해 유동성의 정도를 평가한다. 연구 결과, 개별 단어의 사용 빈도는 변동이 크지만, 전체적으로 영어 언어의 통계적 구조는 시간이 지남에 따라 안정되어 있음을 확인하였으며, 소설 코퍼스에서 학술적 자료가 결과에 영향을 줄 수 있음을 밝혔다.

ABSTRACT

The Google Books corpus, derived from millions of books in a range of major languages, would seem to offer many possibilities for research into cultural, social, and linguistic evolution. In a previous work, we found that the 2009 and 2012 versions of the unfiltered English data set as well as the 2009 version of the English Fiction data set are all heavily saturated with scientific and medical literature, rendering them unsuitable for rigorous analysis. By contrast, the 2012 version of English Fiction appeared to be uncompromised, and we use this data set to explore language dynamics for English from 1820--2000. We critique a previous method for measuring birth and death rates of words, and provide a robust, principled to examining the volume of word flux across various relative frequency usage thresholds. We use the contributions to the Jensen-Shannon divergence of words crossing thresholds between consecutive decades to illuminate the major driving factors behind the flux. We find that while individual word usage may vary greatly, the overall statistical structure of the language appears to remain fairly stable. We also find indications that scholarly works about fiction are strongly represented in the 2012 English Fiction corpus, and suggest that a future revision of the corpus should attempt to separate critical works from fiction itself.

연구 동기 및 목표

• Google Books 코퍼스가 언어 진화 연구에 얼마나 신뢰할 수 있는지 평가하는 것, 특히 영문 소설 데이터셋에 초점을 맞춘다.
• 이전 방법의 한계를 해결하기 위해 원칙적이고 임계값 기반의 접근법을 도입하여 단어 탄생 및 사라짐 비율을 측정하는 것.
• 개별 단어 사용 빈도의 변동에도 불구하고 영어 언어의 통계적 구조가 시간이 지남에 따라 안정되어 있는지 조사하는 것.
• 2012년 영문 소설 코퍼스에 잠재적인 편향이 존재하는지, 특히 소설에 대한 학술적 자료가 포함되어 있는지 밝혀내는 것.
• 분석 편향을 줄이기 위해 비판적 문학을 원작 소설과 분리하는 코퍼스 개선 방안을 제안하는 것.

제안 방법

• 과학적 및 의학적 문헌 오염이 상대적으로 적은 것으로 평가된 2012년 영문 소설 코퍼스의 일부를 사용한다.
• 사용 빈도 간격에 따라 임계값 기반의 방법을 적용하여 다양한 사용 수준에서 단어 탄생 및 사라짐 비율을 측정함으로써 강건성을 확보한다.
• 연속된 10년대 간의 전체 어휘 유동성 기여도를 정량화하기 위해 제닝스-숄런 분산을 적용한다.
• 빈도 임계값을 넘는 단어들이 어떻게 분산에 기여하는지 분석하여 어휘 변화의 주요 원동력을 규명한다.
• 학술적 콘텐츠의 징후를 발견함으로써 코퍼스의 무결성을 검증한다. 예를 들어, 서사 소설과 관련이 없는 고빈도어가 포함되어 있을 경우.
• 비판적 문학을 원작 소설과 분리하는 개선된 코퍼스 구조를 제안하여 분석 편향을 줄인다.

실험 결과

연구 질문

• RQ1 2012년 영문 소설 코퍼스가 과학적 및 의학적 문헌의 오염으로부터 얼마나 자유로운가?
• RQ2 다양한 빈도 임계값에서 단어 탄생 및 사라짐 비율은 어떻게 변할 수 있으며, 이는 어휘 역학에 대해 무엇을 드러내는가?
• RQ3 빈도 임계값을 넘는 개별 단어들이 제닝스-숄런 분산으로 측정된 전체 어휘 유동성에 기여하는 역할은 무엇인가?
• RQ4 개별 단어 사용 빈도의 변동에도 불구하고, 소설 내 영어 언어의 통계적 구조는 시간이 지남에 따라 안정되어 있는가?
• RQ5 2012년 영문 소설 코퍼스에서 소설에 대한 학술적 자료가 원작 소설로 잘못 분류되는 정도는 어느 정도인가?

주요 결과

• 2012년 영문 소설 코퍼스는 과학적 및 의학적 문헌의 오염으로부터 상당히 자유로워 언어 분석에 적합하다.
• 개별 단어 사용 빈도의 변동이 크지만, 1820년에서 2000년 사이에 걸쳐 소설 내 영어 언어의 전체 통계적 구조는 비교적 안정되어 있다.
• 빈도 임계값을 넘는 단어들이 제닝스-숄런 분산에 의미 있는 기여를 하며, 이는 임계값을 넘는 사건이 어휘 유동성의 주요 원동력임을 시사한다.
• 코퍼스는 학술적 자료가 포함되어 있음을 보여주는 징후를 보이며, 이는 어휘 빈도 패턴을 왜곡하고 언어적 추론에 영향을 줄 수 있다.
• 향후 코퍼스 개선을 위해 비판적 문학을 원작 소설과 분리할 필요가 있음을 규명하였다.
• 제안된 임계값 기반의 방법은 이전의 단어 탄생/사라짐 비율 추정 기법보다 더 원칙적이고 강건한 대안을 제공한다.