[논문 리뷰] Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change

William L. Hamilton, Jure Leskovec외 1명|arXiv (Cornell University)|2016. 05. 30.

Language and cultural evolution참고 문헌 45인용 수 179

한 줄 요약

이 논문은 네 시기의 6개 역사 코퍼스에서 diachronic word embeddings(PPMI, SVD, SGNS)을 학습하여 의미 변화를 정량화하고 두 가지 법칙을 발견합니다: (1) 동화의 법칙—변화 속도는 단어 빈도와 반비례하여 스케일링되고; (2) 혁신의 법칙—다의미성이 빈도를 통제한 후에도 변화 속도를 증가시킵니다.

ABSTRACT

Understanding how words change their meanings over time is key to models of language and cultural evolution, but historical data on meaning is scarce, making theories hard to develop and test. Word embeddings show promise as a diachronic tool, but have not been carefully evaluated. We develop a robust methodology for quantifying semantic change by evaluating word embeddings (PPMI, SVD, word2vec) against known historical changes. We then use this methodology to reveal statistical laws of semantic evolution. Using six historical corpora spanning four languages and two centuries, we propose two quantitative laws of semantic change: (i) the law of conformity---the rate of semantic change scales with an inverse power-law of word frequency; (ii) the law of innovation---independent of frequency, words that are more polysemous have higher rates of semantic change.

연구 동기 및 목표

• 시간에 따른 분포적(words distributional) 임베딩을 이용하여 의미 변화 연구를 동기 부여합니다.
• 여러 임베딩 방법(PPPMI, SVD, SGNS)과 벤치마크로 의미 변화를 정량화하기 위한 견고한 방법론을 개발합니다.
• 의미 진화의 교차언어 패턴을 식별하고 빈도 및 다의성과 변화 간의 관계를 정량적으로 규정하는 법칙을 형성합니다.

제안 방법

• 각 기간에 대해 PPMI, SVD, SGNS를 사용하여 시간 슬라이스 단어 임베딩을 구성합니다.
• 교차 시간 코사인 유사성을 보존하기 위해 직교 프로크루스테스(orthogonal Procrustes)로 시기별 임베딩 정렬을 수행합니다.
• 의미 변화를 다음을 통해 정량화합니다: (i) 단어 간 쌍별 유사도 시계열, (ii) 시간에 따른 개별 단어의 의미 위치 이동.
• 역사적 벤치마크에 대해 동시성 정확도와 diachronic 타당성을 평가합니다.
• 잠재임의(intercept)를 단어별로 RANDOM 효과로 두고 빈도와 다의성에 따른 의미 변화 속도를 선형 혼합 모델로 모델링합니다.
• 다의성을 PPMI 기반 동시도(co-occurrence) 네트워크의 로컬 군집계수로 정의하고 분석에서 로그-빈도 변환을 사용합니다.

실험 결과

연구 질문

• RQ1 다른 임베딩 방법이 다언어에 걸친 diachronic 의미 변화를 포착하는 데 어떤 차이가 있는가?
• RQ2 다의성으로 통제할 때 단어 빈도와 의미 변화 속도 간의 관계는 어떠한가?
• RQ3 빈도를 통제한 후 다의성과 의미 변화 간의 관계는 무엇인가?
• RQ4 의미 진화에서 교차언어 일반화 규칙이 통계적 법칙으로 포착될 수 있는가?

주요 결과

• 의미 변화의 두 가지 정량적 법칙: 동화의 법칙(변화 속도는 빈도의 음의 거듭제곱으로 스케일링되며)과 혁신의 법칙(다의성 높은 단어는 빈도를 통제한 후 더 빠르게 변화합니다).
• 다언어에 걸쳐 변화 속도 Δ(w) ≈ f(w)^{β_f} · d(w)^{β_d}로 나타나며 β_f < 0이고 β_d > 0입니다.
• 빈도 효과는 데이터셋 전반에서 견고하며, 더 높은 빈도의 단어일수록 변화가 더 느리게 발생합니다.
• 다의성 효과는 빈도 통제 후에도 지속되며, 맥락 다양성이 더 높을수록 의미 변화가 더 빠르게 나타납니다.
• SGNS는 일반적으로 시프트(이동) 탐지에 최적의 성능을 보이고, SVD는 미묘한 변화 탐지에 더 민감하며, PPMI는 세 가지 중 최악의 성능을 보입니다.