[論文レビュー] Sparsifying Sparse Representations for Passage Retrieval by Top-$k$ Masking

Jheng-Hong Yang, Xueguang Ma+1 more|arXiv (Cornell University)|Dec 17, 2021

Topic Modeling被引用数 6

ひとこと要約

本稿では、スパースな語彙的表現の学習を、スパarsityを制御するためのtop-$k$マスキングと、マスク済み表現とマスクされていない表現をKLダイバージェンスを用いて整合化する自己学習により行う、SPLADE-maskを提案する。この手法は、ハードネガティブネガティブマイニングや distillation を用いずに、MS MARCO開発セットでSOTAのMRR@10 0.373を達成した。

ABSTRACT

Sparse lexical representation learning has demonstrated much progress in improving passage retrieval effectiveness in recent models such as DeepImpact, uniCOIL, and SPLADE. This paper describes a straightforward yet effective approach for sparsifying lexical representations for passage retrieval, building on SPLADE by introducing a top-$k$ masking scheme to control sparsity and a self-learning method to coax masked representations to mimic unmasked representations. A basic implementation of our model is competitive with more sophisticated approaches and achieves a good balance between effectiveness and efficiency. The simplicity of our methods opens the door for future explorations in lexical representation learning for passage retrieval.

研究の動機と目的

• 複雑なトレーニング体制に依存せずに、パassage検索におけるスパースな語彙的表現の有効性を向上させること。
• top-$k$マスキング機構を用いて、語彙的表現のスパarsityを制御すること。
• 自己教師付き学習を用いて、マスク済み表現と元の未マスク表現を一致させることで、モデル性能を向上させること。
• 検索有効性と計算効率の間で良好なトレードオフを達成すること。
• 単純なアーキテクチャの変更が、語彙的表現学習においてより複雑なモデルを上回ることを示すこと。

提案手法

• 表現内の最も重みの高いトークン上位$k$個のみを保持するtop-$k$マスキング方式を導入し、次元削減とスパarsityの強制を実現する。
• トレーニング中に$k$の指数的減衰スケジューラーを適用し、保持するトークン数を段階的に増加させる。
• マスク済み表現の分布と元の未マスク表現の分布を一致させるために、KLダイバージェンスに基づく自己学習目的関数を用いる。
• クエリとドキュメント間の関連スコアを最適化するために、標準的なランク学習損失（例：マージンベースまたは対照的損失）を採用する。
• SPLADEフレームワークをベースとし、マスク言語モデルを用いて語彙空間内での語の重要度を予測する。
• 対照的損失とKLベースの自己学習を組み合わせて、エンドツーエンドでモデルを訓練し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単純なtop-$k$マスキング戦略は、パassage検索におけるスパースな語彙的表現の有効性を向上させることができるか？
• RQ2 マスク済み表現と未マスク表現の間でKLダイバージェンスを用いた自己学習は、モデル性能を向上させるか？
• RQ3 SPLADEへの最小限の修正が、ハードネガティブマイニングや distillation を用いずにSOTAの結果を達成できるか？
• RQ4 標準ベンチマーク上で、提案手法の有効性はより複雑なモデルと比較してどうなるか？
• RQ5 学習された語彙的表現における、検索性能、モデルサイズ、推論効率の間のトレードオフは何か？

主な発見

• SPLADE-maskはMS MARCO開発セットでMRR@10 0.373を達成し、以前のSOTAモデルSPLADE-distil（0.368）を上回った。
• top-$k$マスキングとKLダイバージェンスを用いた自己学習の組み合わせが最も高い有効性を示し、ベースラインのSPLADE-maxより0.005の向上を達成した。
• ハードネガティブマイニングやクロスエンコーダーの distillation を必要とせず、比較的単純なアーキテクチャでSOTA性能を達成した。
• インデックスサイズは5.4 GiBであり、SPLADE-distil（5.0 GiB）よりわずかに大きいが、他の語彙的モデルと比較して依然として競争力がある。
• TREC DL19およびDL20では、トップモデルに比べて有効性が低かったが、その理由は未解明のままである。
• 結果から、top-$k$マスキングと自己学習は効果的で、直交的な強化であり、distillationなどの他の技術と組み合わせることでさらなる向上が期待できる。