[논문 리뷰] Tracing cultural diachronic semantic shifts in Russian using word embeddings: test sets and baselines

Vadim Fomin, Daria Bakshandaeva외 2명|arXiv (Cornell University)|2019. 05. 16.

Language and cultural evolution참고 문헌 28인용 수 6

한 줄 요약

이 논문은 러시아어의 역사적 의미 이행을 탐지하기 위한 두 가지 수작업으로 작성된 테스트 세트를 소개한다: 하나는 주로 소비에트 이전 시기에서 소비에트 시기로의 주요 의미 변화를 다루는 것(명사 및 형용사), 다른 하나는 2000–2014년 사이에 발생한 미세하고 사회적 요인에 의해 영향을 받는 형용사의 변화를 세밀한 분류로 다루는 것이다. 이 연구는 이러한 데이터셋에서 네 가지 기존의 단어 임베딩 기반 알고리즘을 평가하여 최대 F1 점수 0.767에 이르는 공개 가능한 기준 성능을 확립하였으며, 분포 모델을 사용한 러시아어의 의미 이행 탐지 가능성에 대한 근거를 제시한다.

ABSTRACT

The paper introduces manually annotated test sets for the task of tracing diachronic (temporal) semantic shifts in Russian. The two test sets are complementary in that the first one covers comparatively strong semantic changes occurring to nouns and adjectives from pre-Soviet to Soviet times, while the second one covers comparatively subtle socially and culturally determined shifts occurring in years from 2000 to 2014. Additionally, the second test set offers more granular classification of shifts degree, but is limited to only adjectives. The introduction of the test sets allowed us to evaluate several well-established algorithms of semantic shifts detection (posing this as a classification problem), most of which have never been tested on Russian material. All of these algorithms use distributional word embedding models trained on the corresponding in-domain corpora. The resulting scores provide solid comparison baselines for future studies tackling similar tasks. We publish the datasets, code and the trained models in order to facilitate further research in automatically detecting temporal semantic shifts for Russian words, with time periods of different granularities.

연구 동기 및 목표

• 러시아어의 시간적 의미 이행, 특히 사회적·문화적 요인에 의해 영향을 받는 이행을 자동으로 탐지하기 위한 기반을 마련하기 위해.
• 다른 시간 간격과 이행 유형을 다루는 두 가지 상호보완적인 수작업으로 작성된 테스트 세트를 제작하고 공개하기 위해.
• 기존의 잘 알려진 의미 이행 탐지 알고리즘을 러시아어 데이터에 적용하여 공개 가능한 기준 성능 점수를 제공하기 위해.
• 모든 데이터셋, 코드, 훈련된 단어 임베딩 모델을 배포함으로써 향후 연구를 지원하기 위해.

제안 방법

• 두 데이터셋에 걸쳐 총 186개의 단어에 대한 수작업으로 작성된 주석: 하나는 소비에트 이전 시기에서 소비에트 시기로의 강한 의미 이행을 중심으로 하며, 다른 하나는 2000–2014년 사이에 발생한 미세하고 사회적 요인에 의해 영향을 받는 변화를 중심으로 한다.
• 각 시간대에 해당하는 도메인 특화 코퍼스를 기반으로 정적 및 인크리멘탈 단어 임베딩 모델을 훈련시켰다.
• 네 가지 기존 알고리즘(Global Anchors, Procrustes, Kendall, Jaccard)을 적용하여 벡터 공간 비교를 통한 의미 이행 탐지 수행.
• 시간대 간 단어 벡터를 정규화하기 위해 Procrustes 정렬을 사용하여 의미 이행의 의미 있는 비교를 가능하게 하였다.
• _macro_ 및 _micro_ F1 점수를 사용한 방법 평가 및 다수의 방법을 융합한 병합 방법을 통해 성능 향상.
• 모든 데이터셋, 코드, 훈련된 모델을 GitHub에 배포하여 재현 가능성을 확보하고 향후 연구를 촉진하였다.

실험 결과

연구 질문

• RQ1 기존의 단어 임베딩 기반 방법은 러시아어의 역사적 의미 이행 탐지에 얼마나 효과적인가, 특히 사회적·문화적 요인에 의해 영향을 받는 변화에 대해서는 어떻게 되는가?
• RQ2 지역적(예: 가장 가까운 이웃) 또는 전역적(예: 벡터 정렬) 접근 방식 중 어느 것이 러시아어 의미 이행 탐지 작업에서 더 우수한 성능을 보이는가?
• RQ3 시간대가 잘 분리되어 있을 경우 정적 단어 임베딩이 인크리멘탈 방식을 능가할 수 있는가?
• RQ4 의미 이행 강도의 세분화된 분류는 미세한 의미 이행 탐지 성능 향상에 얼마나 기여하는가?
• RQ5 러시아어의 역사적 의미 이행에 대한 향후 연구를 위한 신뢰할 수 있는 기준은 무엇인가?

주요 결과

• Procrustes 방법은 'Macro' 데이터셋에서 F1 점수 0.767을 기록하여 소비에트 이전 시기에서 소비에트 시기로의 강한 의미 이행을 탐지하는 데 다른 방법들보다 뛰어난 성능을 보였다.
• 'Micro' 데이터셋은 2000–2014년 사이에 발생한 미세하고 사회적 요인에 의해 영향을 받는 변화를 다루며, 병합 방법이 F1 점수 0.503을 기록하여 세분화된 이행 탐지에 대해 앙상블 접근 방식이 효과적임을 시사하였다.
• 정적 단어 임베딩은 특히 'Micro' 데이터셋에서 인크리멘탈 방식보다 일관되게 뛰어난 성능을 보였으며, 이는 전역 정렬 방법이 훈련의 랜덤성 보완에 기여할 수 있음을 시사한다.
• Kendall 및 Jaccard 방법은 'Micro' 데이터셋에서 F1 점수가 0.30 이하로 떨어져 미세한 변화 탐지에 대해 상당히 낮은 효과성을 보였다.
• 모든 평가된 방법이 무작위 성능보다 유의미하게 높은 F1 점수를 기록하였으며('Macro' 약 0.5, 'Micro' 약 0.33), 이는 분포 모델을 사용한 러시아어 의미 이행 탐지의 가능성을 확인한다.
• 주석이 달린 데이터셋, 훈련된 모델, 코드의 배포는 향후 러시아어 역사적 의미학 연구를 위한 견고하고 공개 가능한 기준을 제공한다.