[논문 리뷰] A Survey on Contextualised Semantic Shift Detection

Stefano Montanelli, Francesco Periti|arXiv (Cornell University)|2023. 04. 04.

Language and cultural evolution참고 문헌 104인용 수 16

한 줄 요약

본 논문은 맥락화된 의미 변화 탐지(CSSDetection) 접근법을 조사하고, 의미 표현, 시간 인식, 학습 모달리티의 3차원 분류 체계를 제안하며, 평가 지표, 데이터셋 및 해결 과제를 분석한다.

ABSTRACT

Semantic Shift Detection (SSD) is the task of identifying, interpreting, and assessing the possible change over time in the meanings of a target word. Traditionally, SSD has been addressed by linguists and social scientists through manual and time-consuming activities. In the recent years, computational approaches based on Natural Language Processing and word embeddings gained increasing attention to automate SSD as much as possible. In particular, over the past three years, significant advancements have been made almost exclusively based on word contextualised embedding models, which can handle the multiple usages/meanings of the words and better capture the related semantic shifts. In this paper, we survey the approaches based on contextualised embeddings for SSD (i.e., CSSDetection) and we propose a classification framework characterised by meaning representation, time-awareness, and learning modality dimensions. The framework is exploited i) to review the measures for shift assessment, ii) to compare the approaches on performance, and iii) to discuss the current issues in terms of scalability, interpretability, and robustness. Open challenges and future research directions about CSSDetection are finally outlined.

연구 동기 및 목표

• CSSDetection의 정의 및 시간이 지남에 따른 의미 변화 분석 자동화의 중요성.
• CSSDetection 접근법을 위한 3차원 분류 체계 제안(의미 표현, 시간 인식, 학습 모달리티).
• 최신 CSSDetection 방법과 평가 방법에 대한 검토.
• 가능한 경우 공유 과제와 코퍼스를 이용한 방법 비교.
• 확장성, 해석가능성, 견고성 문제를 식별하고 향후 연구 방향을 제시.

제안 방법

• CSSDetection을 위한 공식 워크플로우 도입: 임베딩, 선택적 집계, 변화 평가.
• 의미 표현(형식 기반 대 의미 기반), 시간 인식(시간 무감각 대 시간 인식), 학습 모달리티(감독 학습 대 비감독 학습)라는 세 차원으로 접근법 분류.
• 시맨틱 시프트 측정 방법(예: 프로토타입 간 코사인 거리, 프로토타입 간 역상관, 시간 차이, 평균 쌍 간 거리) 설명 및 형식화.
• 집계 기법(클러스터링 대 평균화)과 시프트 측정에 대한 영향 논의.
• 형식 기반 및 의미 기반 CSSDetection 방법의 모델 유형, 학습 규칙, 시프트 함수의 카탈로그 제공.
• 공유 과제의 결과 요약(예: SemEval-20 Task 1, DIACRIta-20, RuShiftEval-21, LSCDiscovery-22) 및 가능할 때 보고된 성능 비교.

실험 결과

연구 질문

• RQ1 CSSDetection 접근법을 어떻게 체계적으로 분류하고 비교할 수 있는가?
• RQ2 CSSDetection에서 사용되는 의미 표현과 시간 인식 전략은 무엇이며, 이것이 탐지 및 해석에 어떤 영향을 미치는가?
• RQ3 CSSDetection에서 어떤 학습 패러다임(감독 대 비감독)이 사용되며, 어떤 외부 지식이 활용되거나 회피되는가?
• RQ4 변화를 양화하기 위해 어떤 시맨틱 시프트 측정이 사용되며, 작업 및 언어에서 어떻게 성능을 보이는가?
• RQ5 현재 확장성, 해석가능성, 견고성의 한계는 무엇이며, 향후 방향은 무엇이 제안되는가?

주요 결과

• 대부분의 형식 기반 CSSDetection 방법은 시간 무감각적이며 비감독 학습에 의존하고, 평균화가 일반적인 집계 전략이다.
• 의미 기반 접근법은 여러 단어 사용 및 의미를 포착하기 위해 클러스터링을 사용하여 의미 간 시프트 해석을 가능하게 한다.
• 프로토타입 간 코사인 거리(CD)가 널리 사용되는 시프트 함수이며, 역상관(PRT) 및 시간 인식 변형(TD, APD)과 같은 대안이 논의되었다.
• 시간 인식 접근법은 일반적으로 시간 표지나 시간적 참조를 사용하여 사전 학습 모델을 미세 조정 또는 적응시켜 시간적 동역학을 포착한다.
• 공유 과제 평가(예: SemEval-20, DIACRIta-20, RuShiftEval-21, LSCDiscovery-22)를 통해 CSSDetection 방법을 비교하지만, 결과는 작업의 구체성과 언어 제한으로 인해 제한적이다.
• 이 연구는 확장성, 해석가능성, 견고성의 열린 과제를 강조하고 CSSDetection의 향후 연구 방향을 제시한다.