[論文レビュー] SparTerm: Learning Term-based Sparse Representation for Fast Text Retrieval

Yang Bai, Xiaoguang Li+7 more|arXiv (Cornell University)|Oct 2, 2020

Topic Modeling参考文献 16被引用数 59

ひとこと要約

SparTerm は全語彙における直接的に疎な語彙ベース表現を、重要度予測器とゲーティング制御器を組み合わせて学習することで、語句の重み付けと拡張を可能にし、MSMARCO における疎検索を改善する。

ABSTRACT

Term-based sparse representations dominate the first-stage text retrieval in industrial applications, due to its advantage in efficiency, interpretability, and exact term matching. In this paper, we study the problem of transferring the deep knowledge of the pre-trained language model (PLM) to Term-based Sparse representations, aiming to improve the representation capacity of bag-of-words(BoW) method for semantic-level matching, while still keeping its advantages. Specifically, we propose a novel framework SparTerm to directly learn sparse text representations in the full vocabulary space. The proposed SparTerm comprises an importance predictor to predict the importance for each term in the vocabulary, and a gating controller to control the term activation. These two modules cooperatively ensure the sparsity and flexibility of the final text representation, which unifies the term-weighting and expansion in the same framework. Evaluated on MSMARCO dataset, SparTerm significantly outperforms traditional sparse methods and achieves state of the art ranking performance among all the PLM-based sparse models.

研究の動機と目的

• BoWベースのファーストステージ検索を、PLMs からの深い文脈知識を統合することで改善する。
• BoW を疎な語彙空間表現へ写像する直接的なエンドツーエンドフレームワークを開発する。
• 語の重み付けと拡張のバランスを取り、解釈性と効率性を保ちながら意味的マッチングを向上させる。

提案手法

• 全語彙に対して密な語彙重要度分布を出力する重要度予測器を導入する。
• 語彙語の二値の疎な活性化マスクを生成するゲーティング制御器を導入する。
• F（重要度）と G（ゲーティング）を結合して p' = F(p) ⊙ G(p) を形成し、疎さは閾値 λ で制御する。
• リテラル語の活性化と拡張駆動の活性化の両方を有効にし、語彙のギャップを埋める。
• 正例/負例のパッセージ対 (q, p+, p-) を用いたランキング目的でエンドツーエンドに訓練する。
• 任意で L_exp を用いたパッセージ-ターゲットテキストコーパスを用いて拡張ゲートを共同訓練する。

実験結果

リサーチクエスチョン

• RQ1 PLMs から学習された直接的で疎な語彙全体表現は、ファーストステージ検索で従来の疎表現手法を上回ることができるか。
• RQ2 重要度予測器とゲーティング制御器は、疎表現における語の重み付けと拡張にどのように寄与するか。
• RQ3 リテラルのみのゲーティングと拡張強化ゲーティングの検索有効性への影響はどうか。
• RQ4 SparTerm は DeepCT および Doc2Query 系の手法と MSMARCO のパッセージ検索および文書ランキングでどのように比較されるか。

主な発見

• 拡張強化ゲーティングを用いた SparTerm は、MSMARCO のパッセージ検索において MRR@10 の観点で疎モデルの中で最先端のランキングを達成。
• リテラルのみの SparTerm は MRR と Recall で DeepCT を上回り、より強力な語重み付け能力を示す。
• 拡張有効化の SparTerm は上位ランク全体で Recall を向上させ、制御された語の拡張の利点を示す。
• Doc2Query-T5 と比較して、SparTerm（拡張強化）は競争力のある MRR@10 を達成し、いくつかの閾値でより高い Recall を示す。
• PLM ベースの疎表現手法（DeepCT、Doc2Query-T5、SparTerm）は PLM 非ベースの疎表現手法より優れており、文脈知識の疎表現への有効な転移を示す。
• 分析は SparTerm が意味的に関連する語を拡張し（同義語や共起語など）、より滑らかで情報量の多い重要度分布を割り当てることを示す。