[논문 리뷰] Simulating Lexical Semantic Change from Sense-Annotated Data

Dominik Schlechtweg, Sabine Schulte im Walde|arXiv (Cornell University)|2020. 01. 09.

Language and cultural evolution참고 문헌 41인용 수 15

한 줄 요약

이 논문은 동일시적 의미 어노테이션 데이터를 활용하여 어휘적 의미 변화(LSC)를 시뮬레이션하는 새로운 방법을 제안하며, 다의어 패턴을 이용해 보다 현실적인 합성 데이터셋을 생성한다. 의미 빈도를 두 개의 분포로 나누어 의미의 증가/감소를 모델링함으로써 저자들은 LSC 검출 모델에 대한 대규모 골드 표준 평가 세트를 구축하였으며, 이는 그들의 모델이 그레이드 및 바이너리 변화 점수 모두에서 빈도 및 다의어 기반 베이스라인보다 뛰어난 성능을 보임을 보여준다.

ABSTRACT

We present a novel procedure to simulate lexical semantic change from synchronic sense-annotated data, and demonstrate its usefulness for assessing lexical semantic change detection models. The induced dataset represents a stronger correspondence to empirically observed lexical semantic change than previous synthetic datasets, because it exploits the intimate relationship between synchronic polysemy and diachronic change. We publish the data and provide the first large-scale evaluation gold standard for LSC detection models.

연구 동기 및 목표

• 어휘적 의미 변화(LSC) 검출 모델에 대한 대규모이고 신뢰할 수 있는 평가 데이터의 부족을 해결하기 위해.
• 동일시적 다의어와 역사적 변화 사이의 관계를 활용하여 보다 현실적인 합성 데이터셋을 개발하기 위해.
• 의미 빈도 이동 기반으로 그레이드 및 바이너리 LSC의 정의와 운영화를 위해.
• 그레이드 및 바이너리 변화 점수를 모두 포함한 LSC 검출 모델 평가를 위한 골드 표준을 제공하기 위해.
• 간단한 빈도 또는 다의어 기반 베이스라인을 넘어서는 모델 벤치마킹을 가능하게 하여 더 의미 있는 성능 비교를 보장하기 위해.

제안 방법

• 다의어 어휘의 동일시적 의미 분포를 추출하기 위해 의미 어노테이션 코퍼스(예: SemCor)를 사용한다.
• 역사적 의미 빈도 이동을 시뮬레이션하기 위해 의미 어노테이션 데이터를 두 개의 코퍼스로 분할하여 이전과 새로운 어휘 사용 패턴을 표현한다.
• 의미 빈도 분포의 변화 정도를 측정하는 그레이드 LSC와 의미 증가 또는 감소의 유무를 기준으로 하는 바이너리 LSC를 정의한다.
• 유사도 측정 방법(CD, LND, SVD, SGNS)과 정렬 기법(OP, WI)을 두 코퍼스의 단어 표현에 적용하여 변화 점수를 예측한다.
• 그레이드 변화 평가에는 스피어만의 ρ를, 바이너리 변화 평가에는 평균 정밀도(AP)를 골드 표준 점수와 비교하여 사용한다.
• 모델 성능을 빈도, 다의어, 무작위 기반 베이스라인과 비교하여 모델이 빈도 또는 다의어 이동 외의 요소를 얼마나 잘 포착하는지 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 동일시적 의미 어노테이션 데이터에서 역사적 패턴을 반영하는 방식으로 어휘적 의미 변화를 시뮬레이션할 수 있는가?
• RQ2 의미 빈도 분포에서 유도할 수 있는 그레이드 및 바이너리 LSC의 정량적 정의는 무엇인가?
• RQ3 빈도 및 다의어 기반 베이스라인과 비교하여 대규모 합성 골드 표준에서 LSC 검출 모델의 성능은 어떠한가?
• RQ4 모델은 간단한 빈도 또는 다의어 이동을 넘어서 얼마나 많은 의미 변화를 탐지하는가?
• RQ5 제안된 시뮬레이션 방법은 이전의 합성 데이터셋보다 더 현실적인 평가 벤치마크를 생성할 수 있는가?

주요 결과

• 제안된 시뮬레이션 방법은 동일시적 다의어에서 유도된 의미 빈도 이동을 모델링하여 실제 관찰된 변화를 더 잘 반영하는 합성 LSC 데이터를 생성한다.
• 가장 높은 성능을 보인 모델—SGNS에 옥스포탈 프로크루스테스 정렬을 적용한 모델과 SVD에 워드 인젝션을 적용한 모델은 그레이드 변화에서 평균 스피어만의 ρ가 0.182, 바이너리 변화에서 AP가 0.376를 기록했다.
• 모든 모델가 그레이드 및 바이너리 변화에서 빈도 기반 베이스라인을 초월했으며, 바이너리 변화에서는 다의어 기반 베이스라인을 초월하여 의미 변화를 빈도나 다의어 이동 외의 요소로 포착하고 있음을 시사한다.
• 이전 연구와 비교해 새로운 골드 표준에서의 성능은 낮았는데, 이는 더 작은 코퍼스 크기와 더 높은 노이즈로 인한 것으로 보이며, 현실적이고 소규모 데이터에서 평가하는 데의 과제를 부각시킨다.
• 지난 연구와는 달리, 국소 이웃 거리(LND) 측정법이 코사인 거리(CD)보다 더 높은 성능을 보였으며, 이는 그레이드 변화와 바이너리 변화 평가 방식의 차이로 인해 발생했을 수 있다.
• 본 연구는 LSC 검출을 위한 첫 번째 대규모 합성 골드 표준을 구축하여 더 신뢰할 수 있고 일반화 가능한 모델 평가를 가능하게 하였다.