[논문 리뷰] Leveraging Contextual Embeddings for Detecting Diachronic Semantic Shift

Matej Martinc, Petra Kralj Novak외 1명|arXiv (Cornell University)|2019. 12. 02.

Language and cultural evolution참고 문헌 28인용 수 42

한 줄 요약

본 논문은 미세조정된 BERT로 얻은 시간 특화 단어 표현을 이용해 연대 변화에 따른 의미 이동을 탐지하는 방법을 제안하며, LiverpoolFC에서 최첨단 성능과 유사한 결과를 보이고, Brexit 및 다국어 이민 코퍼스에 적용한다.

ABSTRACT

We propose a new method that leverages contextual embeddings for the task of diachronic semantic shift detection by generating time specific word representations from BERT embeddings. The results of our experiments in the domain specific LiverpoolFC corpus suggest that the proposed method has performance comparable to the current state-of-the-art without requiring any time consuming domain adaptation on large corpora. The results on the newly created Brexit news corpus suggest that the method can be successfully used for the detection of a short-term yearly semantic shift. And lastly, the model also shows promising results in a multilingual settings, where the task was to detect differences and similarities between diachronic semantic shifts in different languages.

연구 동기 및 목표

• 맥락적 임베딩을 이용해 짧은 기간 동안의 의미 변동을 동기화하고 측정한다.
• 시간 구간으로 구분된 코퍼스에 대해 BERT를 미세조정하여 시간 특화된 단어 표현을 만든다.
• 일반성 및 효율성을 평가하기 위해 도메인 특화 및 다국어 코퍼스에서 접근법을 평가한다.

제안 방법

• 사전 학습된 BERT 모델을 각 시간 구간 코퍼스에 대해 도메인 적응용으로 미세조정하되 시계열 다이나믹 튜닝은 적용하지 않는다.
• 바이트 페어 인코딩 시퀀스를 BERT에 입력하고 마지막 네 개의 인코더 층을 합산하여 시간 특화 시퀀스 임베딩을 생성한다.
• 특정 기간의 모든 토큰 발생에 대한 맥락 임베딩을 모아 단어 수준의 시간 표현을 생성한다.
• 바이트 페어 토큰이 단어를 분할할 때 구성 토큰 임베딩을 평균화하여 단어 표현을 재구성한다.
• 같은 토큰의 시간 특화 표현 간 코사인 거리를 통해 의미 이동을 측정한다.
• Brexit의 경우 정규화된 레벤슈타인 거리로 필터링된 50개 의미적으로 관련된 단어와의 코사인 유사도를 추적하여 상대적 변화를 분석한다.

실험 결과

연구 질문

• RQ1 시간 조정된 BERT의 맥락 임베딩이 큰 도메인 적응 없이도 단기 의미 변화를 탐지할 수 있는가?
• RQ2 시간 특화 표현이 다국어 코퍼스에서 의미 이동의 언어 간 비교를 가능하게 하는가?
• RQ3 LiverpoolFC와 같은 벤치마크에서 시간 특화 표현이 인간 주석의 의미 이동과 어떤 상관관계를 보이는가?
• RQ4 Brexit과 이민 담론에서 탐지된 변화가 실제 세계의 사건 및 담론 변화와 일치하는가?

주요 결과

• LiverpoolFC에서 코사인 거리와 의미 이동 지수 간 피어슨 상관계수 0.47을 보였으며, 최첨단 수준에 근접했다.
• 이 방법은 대규모 도메인 적응 없이도 기존 연구와 유사한 성과를 달성한다.
• Brexit 코퍼스 분석은 수년에 걸친 단어 관계의 의미 있는 변화를 보여주며 사건 및 논쟁과 일치한다.
• 다국어 이민 분석(영어-슬로베니아어)은 영어와 슬로베니아어 단어 쌍이 이민 담론과 거의 동일한 의미 궤적을 공유한다는 것을 보여준다.
• 이 접근법은 자원이 제한된 언어에서도 단일 다국어 BERT 모델을 사용해 분석을 가능하게 한다.
• 이 방법은 단기 의미 이동 탐지와 언어 간 비교에 대한 잠재력을 보여준다.