[論文レビュー] Context-Aware Sentence/Passage Term Importance Estimation For First Stage Retrieval

Zhuyun Dai, Jamie Callan|arXiv (Cornell University)|Oct 23, 2019

Topic Modeling参考文献 33被引用数 117

ひとこと要約

この論文は、BERTベースの文脈化表現を用いて文/パッセージの文脈に依存した語の重みを割り当てるDeepCTを紹介し、オフラインインデックス作成 (DeepCT-Index) とクエリ重み付け (DeepCT-Query) による一段階検索の効果的な実現を可能にする。

ABSTRACT

Term frequency is a common method for identifying the importance of a term in a query or document. But it is a weak signal, especially when the frequency distribution is flat, such as in long queries or short documents where the text is of sentence/passage-length. This paper proposes a Deep Contextualized Term Weighting framework that learns to map BERT's contextualized text representations to context-aware term weights for sentences and passages. When applied to passages, DeepCT-Index produces term weights that can be stored in an ordinary inverted index for passage retrieval. When applied to query text, DeepCT-Query generates a weighted bag-of-words query. Both types of term weight can be used directly by typical first-stage retrieval algorithms. This is novel because most deep neural network based ranking models have higher computational costs, and thus are restricted to later-stage rankers. Experiments on four datasets demonstrate that DeepCT's deep contextualized text understanding greatly improves the accuracy of first-stage retrieval algorithms.

研究の動機と目的

• 文/パッセージ長のテキストにおける頻度ベースの語重み付けの限界を動機づける。
• 深い文脈依存の語重み付けフレームワークを提案し、BERT埋め込みを語重みにマッピングする。
• オフラインのパッセージインデックス作成（DeepCT-Index）と長いクエリの重み付け（DeepCT-Query）に文脈依存の重みを活用する方法を示す。
• MS MARCOとTREC-CARデータセットでの一段階検索精度の改善を示す。

提案手法

• BERTを用いてテキストパッセージおよびクエリの文脈化トークン埋め込みを生成する。
• BERT埋め込み上に線形回帰層を学習し、文脈化特徴を非負の語重みにマッピングする。平均二乗誤差損失を用いる。
• パッセージについては、クエリ語のリコールターゲットで学習しTF-DeepCT重みを作成し、標準の inverted index（DeepCT-Index）にオフラインでインデックス化する。
• クエリについては、関連文書からの語のリコールで学習し、重み付きBag-of-Wordsまたは重み付きSDMクエリ（DeepCT-Query）を作成する。
• tf, TextRank, Doc2Queryのベースラインと比較し、BM25とQLの一段階検索を使用し、Conv-KNRMとBERTリランキングでリランキング。

実験結果

リサーチクエスチョン

• RQ1 文脈化表現からの文脈依存語重み付けは、パッセージや長いクエリの一段階検索を改善できるか？
• RQ2 DeepCT-IndexはBM25やQLのような標準のBag-of-Wordsモデルとともにオフラインインデックス作成と検索をどう性能づけるか？
• RQ3 DeepCT-Queryは長いクエリの再重み付けを効果的に行い、初期検索を改善するか？
• RQ4 BERTと非文脈埋め込み（W/E）を語重みに使用することの性能への影響は？
• RQ5 DeepCT-Indexは後のリランキングの効率と有効性にどう影響するか？

主な発見

• DeepCT-IndexはMS MARCOとTREC-CARにおいてBM25およびQLでtf, TextRank, Doc2Queryより有意な改善をもたらす。
• 文脈化埋め込み（BERT）はELMoおよび非文脁的 word2vecを上回り、効果的なパッセージ語重みを生成する。
• First-stage DeepCT-Index BM25は、いくつかのマルチステージおよびニューラルリランキングベースラインを凌駕しつつ、効率を維持できる。
• DeepCT-Queryを使用して長いクエリを重み付けると、BM25またはQLと統合された場合、重み付きBOWまたはSDM形式を介して取得を改善する。
• 一段階の改善はリランキングの recall を高め、後続のリランキングの深さを減らすことができる。