[논문 리뷰] Lexical semantic change for Ancient Greek and Latin

Valerio Perrone, Simon Hengchen외 4명|arXiv (Cornell University)|2021. 01. 22.

Language and cultural evolution참고 문헌 64인용 수 6

한 줄 요약

이 논문은 고대 그리스어와 라틴어에서 분포적 단어 정보와 장르 메타데이터를 통합함으로써 어휘 의미 변화를 탐지하는 동적 베이지안 혼합 모델인 GASC를 제안하고 평가한다. 연구는 베이지안 모델이 상태기반 단어 임베딩 방법보다 이진 의미 변화 탐지에서 높은 정확도와 해석 가능성(의미 변화의 명시적 모델링)을 제공함으로써 우수한 성능을 보임을 입증한다.

ABSTRACT

Change and its precondition, variation, are inherent in languages. Over time, new words enter the lexicon, others become obsolete, and existing words acquire new senses. Associating a word's correct meaning in its historical context is a central challenge in diachronic research. Historical corpora of classical languages, such as Ancient Greek and Latin, typically come with rich metadata, and existing models are limited by their inability to exploit contextual information beyond the document timestamp. While embedding-based methods feature among the current state of the art systems, they are lacking in the interpretative power. In contrast, Bayesian models provide explicit and interpretable representations of semantic change phenomena. In this chapter we build on GASC, a recent computational approach to semantic change based on a dynamic Bayesian mixture model. In this model, the evolution of word senses over time is based not only on distributional information of lexical nature, but also on text genres. We provide a systematic comparison of dynamic Bayesian mixture models for semantic change with state-of-the-art embedding-based models. On top of providing a full description of meaning change over time, we show that Bayesian mixture models are highly competitive approaches to detect binary semantic change in both Ancient Greek and Latin.

연구 동기 및 목표

• 고대 그리스어와 라틴어와 같은 고대 언어에서 어휘 의미 변화를 다루는 계산 모델의 격차를 보완하기 위해.
• 동적 베이지안 혼합 모델이 고전 문헌에서 의미 변화를 탐지하는 데 있어 임베딩 기반 방법보다 뛰어난 성능을 보일 수 있는지 조사하기 위해.
• 의미 변화 모델링에 장르 메타데이터를 통합하여 탐지 정확도와 해석 가능성 향상을 위해.
• 전문가가 애너테이션한 데이터를 기반으로 한 이진 의미 변화 탐지에 대한 체계적인 평가 프레임워크를 개발하기 위해.
• 베이지안 모델이 도메인 지식과 역사적 맥락을 통합함으로써 불완전한 문헌에서 기인하는 편향을 줄일 수 있음을 입증하기 위해.

제안 방법

• GASC라는 동적 베이지안 혼합 모델을 변형하여 시간에 따라 단어의 의미 확률과 장르의 퍼지니를 함께 모델링한다.
• 장르, 저자, 스타일과 같은 범주형 메타데이터를 베이지안 프레임워크에 통합하여 의미 변화를 장르별 사용 패tern에서 분리한다.
• 비모수적 의미 발견을 가능하게 하기 위해 단어 의미의 수를 동적으로 모델링하기 위해 딜리클레 과정 사전분포를 사용한다.
• 시간 및 장르 애너테이션 정보가 있는 역사적 문헌 코퍼스를 학습 데이터로 사용하여, 각 시기별 의미 할당에 대한 사후분포를 추정한다.
• 정밀도, 재현율, F1 점수를 사용하여 GASC와 그 변종인 SCAN을 최신 기술의 단어 임베딩(SGNS, TR) 및 장르 보완된 버전과 비교한다.
• 기원과 보관력에 기반한 텍스트 존재 가능성의 가능도를 모델링하여 누락된 텍스트와 코퍼스 편향을 고려하는 확률적 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 동적 베이지안 혼합 모델은 고대 그리스어와 라틴어에서 최신 기술의 단어 임베딩 모델보다 더 정확하게 이진 어휘 의미 변화를 탐지할 수 있는가?
• RQ2 장르 메타데이터를 통합함으로써 고전 문헌에서 의미 변화 탐지 정확도는 어떻게 향상되는가?
• RQ3 흑상자 임베딩 모델에 비해 베이지안 모델은 의미 변화의 명시적이고 해석 가능한 표현을 얼마나 잘 제공하는가?
• RQ4 장르 인식 모델은 분포 통계에만 의존하는 모델보다 고대 텍스트에서 다의어와 의미 다양성을 더 잘 포착할 수 있는가?
• RQ5 베이지안 모델은 역사적 언어 분석에서 부족한 문헌과 누락된 텍스트를 어떻게 고려하여 확장할 수 있는가?

주요 결과

• 고대 그리스어에서 GASC는 이진 의미 변화 탐지에 F1 점수 0.750을 기록하여, SGNS 및 TR을 포함한 모든 임베딩 기반 기준 모델을 압도했다.
• 라틴어에서는 GASC가 F1 점수 0.788을 기록하여 최고의 기준 모델(정밀도 0.650, 재현율 1.000)과 모든 테스트된 임베딩 모델을 뛰어넘었다.
• 모든 언어에서 뛰어난 성능을 보였으며, 특히 기준 모델이 장르 기반 컨텍스트에 맞게 최적화된 경우에도 SGNS 및 TR 모델보다 높은 F1 점수를 기록했다.
• 장르 인식 모델링은 특히 다의어 단어인 'mus'의 기술적 의미와 비기술적 의미를 구분하는 데 있어 탐지 정확도를 크게 향상시켰다.
• 베이지안 모델은 시간에 따른 명시적 의미 궤적을 제공하여 연구자가 다양한 문학 장르에서 단어 의미가 어떻게 변화했는지 추적할 수 있도록 했다.
• 연구는 베이지안 모델이 단지 경쟁력 있는 성능을 보이는 것뿐만 아니라, 전문 지식과 역사적 편향을 통합할 수 있는 능력 덕분에 역학적 연구에 더 적합함을 확인했다.