[論文レビュー] Improving Interpretability of Lexical Semantic Change with Neurobiological Features

Kohei Oda, Hiroya Takamura+2 more|arXiv (Cornell University)|Feb 10, 2026

Language and cultural evolution被引用数 0

ひとこと要約

この論文は文脈化 word embeddings（BERT）を神経生物学的 Binder 特徴へマッピングし、語彙意味変化（LSC）の解釈性を向上させつつ、強力なLSC推定を実現し、LSCのタイプ分析および改善／悪化を可能にする。BinderベースのLSCベクトルに対する Sparse PCA を用い、解釈可能な変化タイプを明らかにする。

ABSTRACT

Lexical Semantic Change (LSC) is the phenomenon in which the meaning of a word change over time. Most studies on LSC focus on improving the performance of estimating the degree of LSC, however, it is often difficult to interpret how the meaning of a word change. Enhancing the interpretability of LSC is a significant challenge as it could lead to novel insights in this field. To tackle this challenge, we propose a method to map the semantic space of contextualized embeddings of words obtained by a pre-trained language model to a neurobiological feature space. In the neurobiological feature space, each dimension corresponds to a primitive feature of words, and its value represents the intensity of that feature. This enables humans to interpret LSC systematically. When employed for the estimation of the degree of LSC, our method demonstrates superior performance in comparison to the majority of the previous methods. In addition, given the high interpretability of the proposed method, several analyses on LSC are carried out. The results demonstrate that our method not only discovers interesting types of LSC that have been overlooked in previous studies but also effectively searches for words with specific types of LSC.

研究の動機と目的

• Binder 特徴を解釈可能な LSC 分析の脳ベースの意味空間として導入する。
• BERT の文脈表現を回帰を通じて Binder 空間へマッピングする。
• Binder 主導の表現で LSC 度を推定し、ベースラインと比較評価する。
• Binder ベースの LSC ベクトルを Sparse PCA で分析し LSC タイプを解析する。
• Binder に基づく LSC スコアを用いて改善（amelioration）および悪化（pejoration）の検出を実証する。

提案手法

• 535語を用いて BERT 空間（768 次元）を Binder 空間（65 次元）へマッピングする回帰モデルを訓練する（LT または MLP）。
• 語彙の埋め込み表現を、コーパス全出現回数について最終層の BERT 状態を平均して語ごとに表現する（CCOHA）。
• 時期間の平均化された Binder マップ済み埋め込みの差として LSC ベクトルを計算する。
• 時期別埋め込み集合間の平均ペア距離（APD）で LSC 度を評価する。
• 上位 500 語のノルムに基づく LSC ベクトルに Sparse PCA（n_components=10）を適用し、解釈可能な LSC タイプを抽出する。
• Binder 正/負の最大特徴値で語をランク付けすることで改善/悪化検出を行う。

Figure 1: Binder feature values for “coffee” and “dog”

実験結果

リサーチクエスチョン

• RQ1 BERT 表現を Binder 特徴へマッピングすることは、LSC 度の推定を競合他社と同等レベルに高められるか。
• RQ2 Sparse PCA で Binder ベースの LSC ベクトルを分析した場合、どのような LSC タイプが現れるか。
• RQ3 Binder ベースのアプローチは語彙変化における改善と悪化の識別に有効か。

主な発見

Model	Euclidean	Cosine	Spearman
BERT space	.616	.645	.618
LT-1910-2010	.633	.644	.647
LT-1960-2010	.635	.667	.634
MLP-1910-2010	.499	.587	.562
MLP-1960-2010	.483	.442	.540

• Binder 空間での LT 回帰は外部知識なしで SemEval-2020 Task 1 のベースラインよりも優れた LSC 検出を達成。
• コサイン距離は APD ベースの LSC 測定に対して頑健で安定した選択である。
• LT-1960-2010（Binder マップ済み）は、非外部知識手法の中で最も高いスピアマン評価を達成（0.667）。“
• Sparse PCA は解釈可能な LSC タイプを明確な Binder 特徴貢献とともに、解釈性のためゼロ埋め成分を持つ形で示す。
• 本手法は改善/悪化の傾向を特定でき、既知の改善/悪化語を期待される方向にランク付けする。

Figure 2: LSC vectors for plane and terrific