[論文レビュー] SeDR: Segment Representation Learning for Long Documents Dense Retrieval

Junying Chen, Qingcai Chen+2 more|arXiv (Cornell University)|Nov 20, 2022

Topic Modeling被引用数 4

ひとこと要約

SeDR は、文書長さに依存しない二乗時間計算量を実現する Segment-Interaction Transformer を用いて、長文書の密集検索のためのセグメント表現学習を提案する。このアプローチにより、文書に依存するセグメントに敏感な表現が可能となり、文書長さではなくセグメント長さにのみ O(n_s²) の計算量が生じる。MS MARCO および TREC-DL において既存手法を上回り、SOTA の結果を達成している。これは、セグメント間相互作用の向上と、GPU メモリ制限を克服するための新規な Late-Cache Negative 戦略によるものである。

ABSTRACT

Recently, Dense Retrieval (DR) has become a promising solution to document retrieval, where document representations are used to perform effective and efficient semantic search. However, DR remains challenging on long documents, due to the quadratic complexity of its Transformer-based encoder and the finite capacity of a low-dimension embedding. Current DR models use suboptimal strategies such as truncating or splitting-and-pooling to long documents leading to poor utilization of whole document information. In this work, to tackle this problem, we propose Segment representation learning for long documents Dense Retrieval (SeDR). In SeDR, Segment-Interaction Transformer is proposed to encode long documents into document-aware and segment-sensitive representations, while it holds the complexity of splitting-and-pooling and outperforms other segment-interaction patterns on DR. Since GPU memory requirements for long document encoding causes insufficient negatives for DR training, Late-Cache Negative is further proposed to provide additional cache negatives for optimizing representation learning. Experiments on MS MARCO and TREC-DL datasets show that SeDR achieves superior performance among DR models, and confirm the effectiveness of SeDR on long document retrieval.

研究の動機と目的

• Transformer の二乗時間計算量と有限な埋め込み容量による長文書における密集検索（DR）の限界を解消すること。
• 文書の切り出しや分割・プーリングによる情報損失を防ぐために、セグメント表現に文書レベルの文脈を保持すること。
• 長文書の学習における GPU メモリのボトル neck を軽減し、負例サンプリングを制限する要因を克服すること。
• モデルパラメータを著しく増加させることなく、高い表現品質を維持する効率的でスケーラブルな手法を開発すること。

提案手法

• 同じ文書内のセグメント間で自己注意を可能にする Segment-Interaction Transformer を提案。これにより、セグメント表現が文書に依存するようになりつつ、各セグメントに対して O(n_s²) の計算量に抑えられる。
• セグメントレベルの注意機構を備えた変更版 Transformer アーキテクチャを用い、セグメント間の関係を捉えることで、独立した符号化やグローバル注意機構よりも優れた性能を実現。
• 以前の学習ステップでエンコードされた文書表現を保存・再利用することで、バッチ内負例を超える追加の負例を提供する Late-Cache Negative 戦略を導入。
• 類似度に基づいて上位 K 個のハード負例を選択する動的負例サンプリング機構を採用。MRR と Recall のバランスを最適化するため、K=100 およびキャッシュサイズ C=50 が最適と判明。
• 各文書を複数のセグメント埋め込みで表現するセグメントベースの密集検索インデックスを構築。これにより、細粒度な関連性マッチングが可能になる。
• バッチ内負例とキャッシュされた負例の両方を用いて対照的学習を実施し、意味的区別能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 セグメント間相互作用を有するセグメントレベルの表現学習は、分割・プーリングや独立符号化を上回る性能を発揮するか？
• RQ2 局所的注意を備えた Segment-Interaction Transformer は、グローバル注意やスパース注意機構と比較して、長文書 DR においてより優れた性能と効率性を達成するか？
• RQ3 Late-Cache Negative は、長文書学習における GPU メモリ制限によって引き起こされる負例サンプリングのボトル neck を効果的に軽減できるか？
• RQ4 負例サンプリングにおけるキャッシュサイズやハードネスの異なる設定が、長文書の検索パフォーマンスに与える影響は何か？

主な発見

• SeDR は MS MARCO および TREC-DL で SOTA のパフォーマンスを達成し、TREC-DL 20 では MRR@100 が 0.632、Recall@100 が 0.527 を記録した。
• Segment-Interaction Transformer は、Longformer やグローバル注意機構と比較して、パラメータ数が少なく、より高い効率性を示した。
• C=50 および K=100 の Late-Cache Negative が、MRR@100 と Recall@100 の両方のバランスを最良に保証し、GPU メモリ制限の緩和に有効であることが示された。
• t-SNE 視覚化により、SeDR はグローバル注意モデルで見られる埋め込みの崩壊を回避し、多様で文書に依存するセグメント表現を維持していることが確認された。
• 文書の分割による情報損失を低減しながらも、計算効率を維持しており、最大プーリングベースラインや他のセグメント相互作用手法を上回った。
• 実験的結果から、セグメント間相互作用を持つ表現は、独立符号化と比較して、検索パフォーマンスが著しく向上することが確認された。