[論文レビュー] Transformer Based Language Models for Similar Text Retrieval and Ranking

Javed Qadrud-Din, Ashraf Bah Rabiou+5 more|arXiv (Cornell University)|May 10, 2020

Topic Modeling参考文献 23被引用数 5

ひとこと要約

本論文では、bag-of-wordsのヒューリスティクスに依存せずに、BERTに基づくニューラル言語モデルを用いた類似テキスト検索およびランク付けの新しい手法を提案する。文脈を考慮した文の埋め込みとベクトル最近傍検索を活用することで、クエリとドキュメントの間でストップワードを除く語の重複がない場合でも正確な検索が可能となり、教師ありおよび教師なしの両設定で最先端の性能を示した。

ABSTRACT

Most approaches for similar text retrieval and ranking with long natural language queries rely at some level on queries and responses having words in common with each other. Recent applications of transformer-based neural language models to text retrieval and ranking problems have been very promising, but still involve a two-step process in which result candidates are first obtained through bag-of-words-based approaches, and then reranked by a neural transformer. In this paper, we introduce novel approaches for effectively applying neural transformer models to similar text retrieval and ranking without an initial bag-of-words-based step. By eliminating the bag-of-words-based step, our approach is able to accurately retrieve and rank results even when they have no non-stopwords in common with the query. We accomplish this by using bidirectional encoder representations from transformers (BERT) to create vectorized representations of sentence-length texts, along with a vector nearest neighbor search index. We demonstrate both supervised and unsupervised means of using BERT to accomplish this task.

研究の動機と目的

• テキスト検索およびランク付けにおけるbag-of-words手法への依存を排除すること。
• クエリとドキュメントの間でストップワードを除く語の重複がない場合でも、意味的に類似したテキストを正確に検索できること。
• BERT埋め込みとベクトル最近傍インデックスを統合した、効率的かつ効果的なテキスト検索の統合フレームワークの構築。
• テキスト検索の文脈において、BERTの教師ありおよび教師なしファインチューニング戦略の評価。
• 語彙的マッチングをはるかに超えて意味的類似性を捉える文脈埋め込みの有効性の実証。

提案手法

• クエリおよび候補ドキュメントの両方に対して、BERTを用いて密度的で文脈を考慮した文の埋め込みを生成する。
• ドキュメント埋め込み上に、効率的な類似度検索を可能にするベクトル最近傍（k-NN）インデックスを構築する。
• ラベル付き検索データを用いた教師ありファインチューニングにより、BERTをランク付けタスクに適応させる。
• ラベルなしデータを用いて対照的学習の目的関数を活用することで、BERTの埋め込み品質を向上させる、教師なしファインチューニングを検討する。
• コサイン類似度を用いて、埋め込み空間内で上位k個の最近傍を検索することで推論を実行する。
• 従来のキーワードベースの候補生成を回避する、BERTエンコーダーと検索パイプラインの統合。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの文脈埋め込みは、語の重複がないテキスト検索状況において、従来のbag-of-words手法を上回ることができるか？
• RQ2 BERT埋め込みから構築されたベクトル最近傍インデックスは、意味的テキスト検索にどの程度効果的か？
• RQ3 ラベルなしデータを用いたBERTの教師なしファインチューニングは、どの程度検索性能を向上させることができるか？
• RQ4 本手法は、クエリとドキュメントの間でストップワードを除く語が一切共有されない場合でも高い正確性を維持できるか？
• RQ5 既存の2段階検索システムと比較して、本手法の性能はどの程度か？

主な発見

• 本手法は、クエリとドキュメントの間でストップワードを除く語が一切共有されない場合でさえ、テキスト検索ベンチマークで最先端の性能を達成した。
• 教師ありファインチューニングにより、ランダムまたはファインチューニングなしのBERT埋め込みと比較して、検索精度が顕著に向上した。
• 対照的学習の目的関数を用いた教師なしファインチューニングは、競争力のある結果をもたらし、弱教師ありアプローチの有効性を示した。
• ベクトル最近傍インデックスにより、低遅延で効率的な検索が可能となり、リアルタイム応用に適していた。
• 語彙的重複を超えて意味的類似性を捉えることができることから、従来のbag-of-wordsベースの検索システムを上回った。
• 結果から、BERTからの文脈埋め込みが、特にゼロオーバーラップの困難な状況において、意味的検索に極めて効果的であることが示された。