[論文レビュー] Semantic Shift: the Fundamental Challenge in Text Embedding and Retrieval

Hang Gao, Dimitris N. Metaxas|arXiv (Cornell University)|Mar 22, 2026

Topic Modeling被引用数 0

ひとこと要約

本論文は、セマンティックシフト――テキスト内の意味の構造的進化と分布――が埋め込みの集中化を生み出し、長さだけでは回収を害することを説明する。セマンティックシフトを形式化し、モデルとコーパスを横断して検証する。

ABSTRACT

Transformer-based embedding models rely on pooling to map variable-length text into a single vector, enabling efficient similarity search but also inducing well-known geometric pathologies such as anisotropy and length-induced embedding collapse. Existing accounts largely describe \emph{what} these pathologies look like, yet provide limited insight into \emph{when} and \emph{why} they harm downstream retrieval. In this work, we argue that the missing causal factor is \emph{semantic shift}: the intrinsic, structured evolution and dispersion of semantics within a text. We first present a theoretical analysis of \emph{semantic smoothing} in Transformer embeddings: as the semantic diversity among constituent sentences increases, the pooled representation necessarily shifts away from every individual sentence embedding, yielding a smoothed and less discriminative vector. Building on this foundation, we formalize semantic shift as a computable measure integrating local semantic evolution and global semantic dispersion. Through controlled experiments across corpora and multiple embedding models, we show that semantic shift aligns closely with the severity of embedding concentration and predicts retrieval degradation, whereas text length alone does not. Overall, semantic shift offers a unified and actionable lens for understanding embedding collapse and for diagnosing when anisotropy becomes harmful.

研究の動機と目的

• Transformerベースのテキスト埋め込みにおける埋め込み病理（異方性、長さ崩壊）の問題を動機づける。
• 埋め込み幾何を形作る根本因子としてセマンティックシフトを提案する。
• 局所的な意味の進化と全体的な分散を捉える正式かつ計算可能な指標を開発する。
• プーリングによる平滑化の理論分析と、それが下流の回収性能とどう結びつくかを示す。
• モデルとコーパスを跨いだ実証的検証を行い、実用的な境界認識型スプリッターを示す。

提案手法

• トランスフォーマーエンコーダのプーリングを、トークン/文の埋め込みの凸結合として理論的に分析し、意味の希薄化につながることを示す。
• 意味の希薄化を証明：プールされた埋め込みは文の多様性が増すにつれて構成成分の文 embeddings から発散する（定理1）。
• 局所的意味の進化、意味の分散、意味の移動を、局所的な意味構造と全体的な意味構造の結合として定義する（定義1–3）。
• 長さとセマンティックシフトを分離するための制御された連結実験（繰り返し、順次、ランダム）を行い、MPDを埋め込み集中の代理指標として測定する。
• 連結とコーパスを跨ぐ自己重複指標を用いて、下流の回収頑健性への影響を測定する。

Figure 1: Mean Pairwise Distance (MPD) curves for three embedding models across two corpora. The $x$ -axis is the number of sentences; the $y$ -axis is MPD.

実験結果

リサーチクエスチョン

• RQ1 長さ効果を超えた埋め込み集中と異方性の原因は何か？
• RQ2 テキスト内の意味の多様性はプーリングベースの埋め込みにどう影響するか？
• RQ3 セマンティックシフトはモデルとコーパスを跨いで回収低下を定量的に予測できるか？
• RQ4 局所的意味の進化と全体的な分散はセマンティックシフトを生み出す際どう相互作用するか？
• RQ5 単に長さだけが埋め込みベースの回収下流性能を予測するのに信頼できるか？

主な発見

• 文ごとの意味的多様性が意味の希薄化を生み、プールされた埋め込みが個々の文埋め込みから逸脱する。
• 局所的進化と全体的分散の相互作用として定義されるセマンティックシフトは、埋め込み集中と回収低下と相関する。
• 長さによる崩壊だけでは埋め込み集中を十分に説明できず、セマンティックシフトが弱い場合には回収ダメージの予測力に欠ける。
• 回収ダメージは、強いセマンティックシフト（順次/ランダムパターン）による異方性が長さベースの集中（繰り返しパターン）よりも著しく悪化する。
• 複数のコーパスとモデルにまたがる経験的結果は、一貫してセマンティックシフトと埋め込み集中・下流回収結果を結びつける。

Figure 2: Scatter plot of $C_{\mathrm{mean}}$ vs. $C_{\mathrm{pair}}$ on ArXiv using bge-large model.