[논문 리뷰] Transparent Semantic Change Detection with Dependency-Based Profiles

Bach Phan-Tat, Kris Heylen외 3명|arXiv (Cornell University)|2026. 01. 06.

Language and cultural evolution인용 수 0

한 줄 요약

논문은 Jensen-Shannon Divergence를 사용하여 의존성 공존 분포의 변화를 추적하는 비감독적, 의존성 기반 접근 방식을 제안하며, 해석 가능한 결과를 제공하고 여러 언어에서 경쟁력 있는 성능을 보인다.

ABSTRACT

Most modern computational approaches to lexical semantic change detection (LSC) rely on embedding-based distributional word representations with neural networks. Despite the strong performance on LSC benchmarks, they are often opaque. We investigate an alternative method which relies purely on dependency co-occurrence patterns of words. We demonstrate that it is effective for semantic change detection and even outperforms a number of distributional semantic models. We provide an in-depth quantitative and qualitative analysis of the predictions, showing that they are plausible and interpretable.

연구 동기 및 목표

• 런익언 해석 가치가 있는 명시적 언어학적 의존성 기반 정보를 활용한 lexical semantic change (LSC) 탐지의 필요성을 제시한다.
• 의존성 슬롯–필러 분포의 시간에 따른 변화를 추적하는 투명하고 비감독적 방법을 개발한다.
• 다양한 언어의 SemEval-2020 Task 1 데이터에 대해 방법을 평가하고 임베딩 기반 접근법과 비교한다.
• 의존성 기반 변화 신호의 해석가능성과 한계에 대한 질적 분석을 제공한다.

제안 방법

• 고정도 의존성 파서로 다이어크로닉 코퍼스를 파싱하여 슬롯 기반 동시발생 분포를 얻는다.
• 각 목표 렘마를 시간대별로 의존성 슬롯(예: nmod, amod)과 그 필러들의 분포로 표현한다.
• 시간대 간 슬롯별 Jensen-Shannon Divergence (JSD)를 계산하여 변화를 측정한다.
• JSD를 산출하기 전에 슬롯 수준의 합계를 0.5를 넘는 JSD의 평균으로 요약하여 렘마 수준의 변화 점수를 얻는다.
• JSD 계산 전에 싱글턴 슬롯-필러를 제거하기 위한 빈도 필터링을 적용한다.
• 의존성 관계에 초점을 맞추기 위해 슬롯-필러에서 POS 태그를 제거한다.
• 성능 향상을 위해 빈도 필터링과 POS 제거를 조합적으로 사용할 것을 권장한다.
• Subtask 2(등급 매김) 중심으로 평가하되 Subtask 1(이진 변화)은 임계값 기반 전략으로 수행하며 Subtask 1/2 결과 및 질적 분석을 보고한다.

Figure 1: Changes in the frequencies of 6 adjectival modifiers of the English noun plane between the 2 sub-corpora for English of the SemEval 2020 shared task 1 Schlechtweg et al. ( 2020 ) . Plane is annotated as semantically changed in the dataset

실험 결과

연구 질문

• RQ1 명시적이고 의존성 기반의 공존 패턴이 임베딩 기반 표현 없이도 렘마의 의미 변화를 효과적으로 탐지할 수 있는가?
• RQ2 의존성-슬롯 분포에 대한 Jensen-Shannon Divergence가 여러 언어에서 실제 의미 변화를 어떻게 반영하는가?
• RQ3 빈도 필터링, POS 제거 등 사전 처리 및 노이즈 감소 단계가 의존성 기반 LSC 신호의 신뢰성과 해석가능성에 어떤 영향을 주는가?
• RQ4 제안된 방법은 SemEval-2020 Task 1 데이터(영어, 독일어, 스웨덴어, 라틴어)의 등급 변화 및 이진 변화 과제에서 임베딩 기반 접근과 비교해 어떤 성능을 보이는가?
• RQ5 메서드의 해석가능성은 어느 정도이며, 특정 의존성 슬롯에 기인하는 어떤 종류의 언어 변화가 있는가?

주요 결과

• 의존성 기반 공존 변화는 JSD로 정량화되며 여러 언어에서 경쟁력 있는 등급 변화 점수를 제공하며 때로는 여러 임베딩 기반 시스템을 능가한다.
• 빈도 필터링과 POS 제거가 성능을 크게 향상시키며, 결합 설정은 여러 언어에서 기저선에 근접하거나 이를 상회하는 상관 계수를 보이는 등 상당한 이점을 제공한다.
• 이 방법은 해석 가능성이 강하며, 변화에 대한 슬롯별 기여도를 분해하여 언어적 변화의 경로를 추적할 수 있다(예: 새로운 의료 용도, 비유적 변화 등).
• 일부 경우, 고 슬롯 수준의 발산이 몇 가지 지배적인 표현 때문에 변화를 과대평가할 수 있으며, JSD 임계값 아래에 있는 진정한 혁신은 놓칠 수 있다.
• 본 방법은 의미 변화에 대한 언어학 이론과의 강건성과 호환성을 보여주며, 신경 기반 접근법의 완전한 대체보다는 투명한 보완제로 작용한다.
• 질적 분석은 정확하게 식별된 변화(TP)와 슬롯 수준 임계값 및 데이터 희소성에 tied된 일반적인 오탐/놓친 경우(FP, FN)를 모두 보여준다.

Figure 2: The JSD contributions of different slot-fillers in the slot chi_compound of the English noun graft . Green bars indicate an increase in relative frequency; red bars indicate a decrease.