[논문 리뷰] Temporal Analysis of Language through Neural Language Models

Yoon Kim, Yi-I Chiu외 3명|arXiv (Cornell University)|2014. 05. 14.

Language and cultural evolution참고 문헌 10인용 수 34

한 줄 요약

이 논문은 1900–2009년 기간 동안 구글 북스 Ngram 코퍼스를 사용하여 어휘의 의미 변화를 탐지하고 국소화하기 위해 연도별로 훈련된 신경 언어 모델을 제안한다. 매년 스킵그램 모델을 훈련하고 코사인 유사도를 통해 단어 벡터의 이동을 추적함으로써, 'cell'과 'gay'와 같은 단어들이 의미적으로 상당한 변화를 겪었음을 특정할 수 있으며, 이러한 변화가 발생한 구체적인 시기—'cell'의 경우 1985–2009년, 'gay'의 경우 1970년대—를 특정할 수 있다.

ABSTRACT

We provide a method for automatically detecting change in language across time through a chronologically trained neural language model. We train the model on the Google Books Ngram corpus to obtain word vector representations specific to each year, and identify words that have changed significantly from 1900 to 2009. The model identifies words such as "cell" and "gay" as having changed during that time period. The model simultaneously identifies the specific years during which such words underwent change.

연구 동기 및 목표

• 역사적 코퍼스를 대상으로 언어의 의미 변화를 자동으로 탐지하는 방법을 개발하기 위해.
• 의미 변화가 일어난 단어뿐 아니라, 그 변화가 발생한 구체적인 시기까지 특정하기 위해.
• 수작업 또는 문맥 기반 탐지 방식에 대한 대체로 확장 가능한 데이터 기반의 접근법을 제공하기 위해.
• 연구자들이 단어 벡터 궤적을 활용하여 어휘 변화의 역학을 시간적으로 정밀하게 연구할 수 있도록 하기 위해.

제안 방법

• 1900–2009년 기간 동안의 구글 북스 Ngram 코퍼스에서 연도별로 코퍼스를 추출하여 스킵그램 신경 언어 모델을 훈련한다.
• 이전 연도의 단어 벡터를 기반으로 후속 연도의 단어 벡터를 초기화하여 시간적 연속성을 확보한다.
• 다른 연도의 동일한 단어의 단어 벡터 간 코사인 유사도를 계산하여 의미 이탈을 측정한다.
• 목표 단어와 그 이웃 단어 간의 코사인 유사도 시간 시리즈를 추적하여 급격한 변화가 발생한 시기를 탐지한다.
• 모든 단어의 1900년 기준 기준점과의 평균 코사인 유사도를 기준선으로 삼아, 실제 의미 변화와 무작위적 변동을 구분한다.
• 단어 벡터 궤적을 시각화하고 분석하여 'cell'이나 'gay'와 같은 단어가 언제, 어떻게 의미를 변화시켰는지 파악한다.

실험 결과

연구 질문

• RQ1 1900년에서 2009년 사이에 단어 벡터 궤적을 기반으로 하여 어떤 단어들이 상당한 의미 변화를 겪었는가?
• RQ2 우리가 자동으로 단어 의미 변화가 발생한 특정 시기를 탐지할 수 있는가?
• RQ3 발견된 변화 시기들이 알려진 역사적 또는 문화적 사건과 어떻게 관련되어 있는가?
• RQ4 'cell'과 'gay'와 같은 단어의 의미 변화가 문서화된 사회어휘적 발전과 어느 정도 일치하는가?
• RQ5 기준선 유사도 지표를 사용하여 실제 의미 변화와 무작위적 노이즈 또는 표본 변동성을 구분할 수 있는가?

주요 결과

• 모델은 'cell'이 상당한 의미 변화를 겪었다는 것을 성공적으로 탐지하였으며, 가장 두드러진 변화는 1985년에서 2009년 사이에 발생했으며, 이는 휴대전화의 부상과 겹친다.
• 'gay'는 1970년대에 의미가 크게 변화했으며, 이는 레즈비언·Lesbian·Bisexual·Transgender+ 권리 운동의 부상과 함께 어휘가 재할당된 시기와 일치한다.
• 모델는 'checked'가 '억제하다'에서 '확인하다' 또는 '점검하다'로 의미가 변화했음을 탐지하였으며, 이는 시간이 지남에 따라 다의어의 변화를 반영한다.
• 'actually'는 사실의 진술을 의미하는 데서 현대 대화에서 놀라움이나 강조를 나타내는 데로 의미가 변화했음을 보여준다.
• 'cell'과 'gay'의 이웃 단어와의 코사인 유사도가 각각의 변화 기간 동안 뚜렷이 감소하여, 벡터 공간 내에서 의미 재구성의 존재를 확인한다.
• 모델의 기준선(모든 단어의 평균 유사도)을 통해 'cell'과 'gay'의 관찰된 변화가 무작위 변동을 초월함을 입증하여 그 중요성을 검증한다.