[논문 리뷰] Diachronic word embeddings and semantic shifts: a survey

Andrey Kutuzov, Lilja Øvrelid외 2명|arXiv (Cornell University)|2018. 06. 09.

Language and cultural evolution참고 문헌 62인용 수 144

한 줄 요약

분포 기반 모델을 사용한 다시시점 단어 임베딩과 의미 변화 감지에 대한 조사로, 데이터 소스, 방법론, 정렬 기법, 법칙, 관계, 응용 및 남은 도전과제를 개관합니다.

ABSTRACT

Recent years have witnessed a surge of publications aimed at tracing temporal changes in lexical semantics using distributional methods, particularly prediction-based word embedding models. However, this vein of research lacks the cohesion, common terminology and shared practices of more established areas of natural language processing. In this paper, we survey the current state of academic research related to diachronic word embeddings and semantic shifts detection. We start with discussing the notion of semantic shifts, and then continue with an overview of the existing methods for tracing such time-related shifts with word embedding models. We propose several axes along which these methods can be compared, and outline the main challenges before this emerging subfield of NLP, as well as prospects and possible applications.

연구 동기 및 목표

• 의미 변화의 개념과 그 언어학적 배경을 명확히 한다.
• 시간 인식 단어 임베딩을 이용한 의미 변화 추적을 위한 분포 기반 방법을 조사한다.
• 다시시점 임베딩을 위한 데이터 소스, 평가 전략, 정렬 기법을 비교한다.
• 다시시점 임베딩의 법칙, 시간적 관계 및 잠재적 응용을 식별한다.
• 분야의 남은 도전과제와 향후 방향을 강조한다.

제안 방법

• 의미 변화 연구에 사용되는 시간 분할 다이오크릭 코퍼스와 테스트 세트를 검토한다.
• 다이오크릭 분석을 위한 예측 기반 임베딩 모델(SGNS, CBOW, GloVe)과 카운트 기반 접근법을 논의한다.
• 시간에 걸친 임베딩 정렬 방법(Procrustes, 2차 차수 임베딩, 동적 모델, 점진적 업데이트)을 설명한다.
• 전역 비교와 지역 비교; 버스트 탐지; 이웃 변화 등으로 변이를 추출하는 방법을 설명한다.
• 다이오크릭 의미 관계를 연구하기 위한 관계와 시간적 유추를 고찰한다.
• 법칙 같은 일반화와 그것들의 타당성을 대조 실험으로 비판적으로 평가한다.

실험 결과

연구 질문

• RQ1 분 distribution 기반 모델을 이용해 의미 변화 연구에 사용되는 데이터 소스와 시간적 세분성은 무엇인가?
• RQ2 시간에 따른 단어 임베딩을 어떻게 정렬하고 의미 있게 비교하여 변화를 탐지할 수 있는가?
• RQ3 전역 대 지역, 카운트 기반 대 예측 기반, 점진적 대 공동 학습 등 어떤 방법적 선택이 의미 변화 탐지에 영향을 미치는가?
• RQ4 의미 변화의 법칙에 대한 증거는 무엇이며, 이러한 발견은 얼마나 강건한가?
• RQ5 다시시점 단어 임베딩의 실용적 응용과 남은 도전과제는 무엇인가?

주요 결과

• 분포 기반 모델이 의미 변화 탐지에서 빈도 기반 방법보다 우수하다.
• 예측 기반 임베딩과 그 증가적 또는 시간적인 변형은 현대의 다이오크릭 분석의 핵심이다.
• 모델 정렬 기법(Procrustes, 2차 차수 임베딩, 로컬 앵커)을 통해 시점 간 의미 있는 비교가 가능하다.
• artifacts 및 데이터/모델 선택으로 인해 보편적 의미 변화 법칙의 존재 여부에 논란이 있으며, 특정 제어하에서 일부 제안된 법칙은 허위일 수 있다.
• 다시시점 임베딩은 시점 간 의미 관계와 유추를 가능하게 하며, 정보 검색 및 이벤트 탐지와 같은 응용에 활용된다.