[論文レビュー] Leveraging Semantic and Lexical Matching to Improve the Recall of Document Retrieval Systems: A Hybrid Approach

Saar Kuzi, Mingyang Zhang+3 more|arXiv (Cornell University)|Oct 2, 2020

Information Retrieval and Search Behavior参考文献 45被引用数 15

ひとこと要約

本稿では、語彙的（BM25）および意味的（深層ニューラルネットワーク）モデルを並列に組み合わせるハイブリッドドキュメント検索手法を提案する。事前学習言語モデルを用いて弱教師あり意味的マッチングを実行し、近似KNNを用いて結果を統合することで、単体のモデルよりも顕著に高い再現率を達成する。語彙的重複度は低く、ドキュメントの種別や長さにわたる補完的カバレッジを実現する。

ABSTRACT

Search engines often follow a two-phase paradigm where in the first stage (the retrieval stage) an initial set of documents is retrieved and in the second stage (the re-ranking stage) the documents are re-ranked to obtain the final result list. While deep neural networks were shown to improve the performance of the re-ranking stage in previous works, there is little literature about using deep neural networks to improve the retrieval stage. In this paper, we study the merits of combining deep neural network models and lexical models for the retrieval stage. A hybrid approach, which leverages both semantic (deep neural network-based) and lexical (keyword matching-based) retrieval models, is proposed. We perform an empirical study, using a publicly available TREC collection, which demonstrates the effectiveness of our approach and sheds light on the different characteristics of the semantic approach, the lexical approach, and their combination.

研究の動機と目的

• 正確なクエリ語が存在しない関連ドキュメントを検出できない、従来の語彙的検索モデルの再現率の限界を是正すること。
• 効率性の懸念がある中でも、再ランキングを越えて検索段階で深層ニューラルネットワークを活用する可能性と有効性を検討すること。
• 大規模なクエリログを必要とせず、システム効率を損なわずに運用可能な実用的で導入に適したハイブリッドシステムを開発すること。
• 意味的および語彙的モデルが補完的であることを示すこと。両者は特性の異なる関連ドキュメントの集合を検索する。

提案手法

• 事前学習言語モデル（例：BERT）に基づく弱教師あり学習タスクを用いて、クエリログに依存しない意味的検索モデルを訓練する。
• 語彙的モデル（BM25）と意味的モデルの両方を、全ドキュメントコレクションに対して並列に検索する。
• 低遅延を確保するために、近似K近傍（KNN）検索を用いて上位k件の意味的マッチを効率的に取得する。
• 両モデルの結果リストを統合し、再ランク付け用の初期検索リストを生成する。
• 意味的モデルを用いてドキュメントを密度ベクトル埋め込み表現に変換し、意味的類似度の計算を可能にする。
• t-SNE可視化とジャコーディ係数分析を実施し、語彙的重複度とドキュメントクラスタリングの差異を比較する。

実験結果

リサーチクエスチョン

• RQ1 語彙的モデルと並列に使用される深層ニューラルネットワークベースの意味的モデルは、検索段階で再現率を向上させることができるか？
• RQ2 語彙的モデルと意味的モデルが検索するドキュメント集合は、語彙的特徴、長さ、トピックカバレッジの観点でどのように異なるか？
• RQ3 語彙的モデルと意味的モデルが検索する関連ドキュメントの重複度はどの程度で、これが補完性を示しているか？
• RQ4 クエリログなしで学習された弱教師あり意味的モデルでも、依然として有効な検索性能を達成できるか？
• RQ5 ハイブリッドアプローチは、実世界の検索システムにおけるシステム効率と導入可能性にどのように影響を与えるか？

主な発見

• 意味的モデルは、語彙的モデルが見逃す関連ドキュメントを検索しており、特にクエリ語の正確な一致ではなく、同義語や言い換え表現が使われているドキュメントが顕著に検出された。
• 意味的モデルと語彙的モデルの上位100語の代表語のジャコーディ係数は平均0.162にとどまり、非常に低い語彙的重複度を示した。
• 意味的に検索されたドキュメントは、語彙的に検索されたドキュメントよりも平均的に著しく長く、一部の差は2倍以上に達した。
• t-SNE可視化では、意味的結果がドキュメント埋め込み空間で明確なクラスタを形成しており、語彙的結果が希薄な領域に位置していることが確認された。
• ハイブリッドアプローチにより、初期検索リストの多様性とトピックカバレッジが向上し、両モデル間の強い補完性が示された。
• 本手法は効率的かつ導入可能であり、近似KNNとオープンソースツールを活用しており、大規模な学習データやクエリログの必要がない。