[論文レビュー] Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models

Michael Günther, Isabelle Mohr+3 more|arXiv (Cornell University)|Sep 7, 2024

Human Mobility and Location-Based Analysis被引用数 4

ひとこと要約

本稿では、長文文書のコンテキストを保持するため、長文の埋め込み処理後にチャンク化を行う「ラテ・チャンキング」を導入する。この手法により、追加の学習を必要とせず、複数のベンチマークでナイーブチャンキングを上回る、顕著なリtrieval性能の向上が達成される。

ABSTRACT

Many use cases require retrieving smaller portions of text, and dense vector-based retrieval systems often perform better with shorter text segments, as the semantics are less likely to be over-compressed in the embeddings. Consequently, practitioners often split text documents into smaller chunks and encode them separately. However, chunk embeddings created in this way can lose contextual information from surrounding chunks, resulting in sub-optimal representations. In this paper, we introduce a novel method called late chunking, which leverages long context embedding models to first embed all tokens of the long text, with chunking applied after the transformer model and just before mean pooling - hence the term late in its naming. The resulting chunk embeddings capture the full contextual information, leading to superior results across various retrieval tasks. The method is generic enough to be applied to a wide range of long-context embedding models and works without additional training. To further increase the effectiveness of late chunking, we propose a dedicated fine-tuning approach for embedding models.

研究の動機と目的

• 従来のテキストチャンキングにおける長距離コンテキスト依存性の損失を是正すること。
• 埋め込み生成時にチャンク間のコンテキストを保持することで、テキストチャンクの意味的表現を向上させること。
• さまざまな長文コンテキスト埋め込みモデルに適用可能な汎用的で、学習を要しない手法を開発すること。
• ラテ・チャンキングをさらに向上させるためのファインチューニング戦略を検討すること。
• 多様なリtrievalベンチマークでラテ・チャンキングを実証的に検証し、既存手法と比較すること。

提案手法

• まず、テキストをチャンクに分割する前に、長文コンテキスト埋め込みモデルを全文書に適用し、完全なコンテキストを反映したトークン埋め込みを生成する。
• 完全なトークン埋め込みのシーケンスに対してチャンキングを実施し、その後、平均プーリングを適用して文脈を反映したチャンク埋め込みを生成する。
• 得られた埋め込みをリtrievalタスクに使用し、各チャンクが周囲りのテキストからの意味的コンテキストを引き継ぐようにする。
• モデルのコンテキスト長を超える文書に対応するため、重複またはセグメント化されたシーケンスで処理する「ロング・ラテ・チャンキング」アプローチを提案する。
• スパンアノテーションデータセットを用いて、リtrieval精度を向上させる専用の対照的ファインチューニング手法を導入する。
• jina-embeddings-v2-small などの既存の長文コンテキストモデルを、アーキテクチャの変更や再トレーニングなしに活用する。

実験結果

リサーチクエスチョン

• RQ1 チャンク間の意味的依存関係を保持することで、ラテ・チャンキングはリtrieval性能を向上させることができるか？
• RQ2 文脈的に関連するチャンクのコサイン類似度において、ラテ・チャンキングはナイーブチャンキングと比べてどのように異なるか？
• RQ3 入力文書がモデルの最大コンテキスト長を超える場合でも、ラテ・チャンキングは有効に機能するか？
• RQ4 ラテ・チャンキングを用いる場合、ファインチューニングによりさらにリtrieval精度を向上させることができるか？
• RQ5 LLM補強コンテキスト埋め込み手法と比較して、ラテ・チャンキングはパフォーマンスと推論コストの両面で優れているか？

主な発見

• ラテ・チャンキングは、ナイーブチャンキングと比較して、文脈的に関連するチャンクのコサイン類似度スコアを最大で0.1165向上させた。例えば、「ベルリン」を参照する文では、0.7084から0.8249に向上した。
• FEVERおよびTriviaQAデータセットでは、ファインチューニング時にスパンプーリングが平均プーリングよりもわずかだが一貫した改善をもたらした。
• ラテ・チャンキングは、LLM補強コンテキスト埋め込み手法（例：0.8516 vs. 0.8590）と同等の類似度スコアを達成したが、追加のLLM推論ステップを必要としなかった。
• 金融文書、Wikipedia、QA形式の文書を含む、全評価対象のリtrievalベンチマークで、ナイーブチャンキングを上回った。
• スパンアノテーションデータを用いたファインチューニングは、標準的な対照的トレーニングよりも測定可能な向上をもたらし、特にゼロショットおよびフェイシング設定で顕著だった。
• ロング・ラテ・チャンキングアプローチは、コンテキスト窓を超える文書に対しても効果的に処理でき、重複またはセグメント化された処理により、高品質な埋め込みを維持した。