[論文レビュー] Off the Beaten Path: Let's Replace Term-Based Retrieval with k-NN Search

Leonid Boytsov, David Novák+2 more|arXiv (Cornell University)|Oct 31, 2016

Algorithms and Data Compression参考文献 73被引用数 39

ひとこと要約

本論文では、語彙ギャップを克服するため、従来の語彙ベースの検索に代わり、BM25とIBM Model 1スコアを組み合わせた新しい非メトリックな類似度関数を用いたk-NN検索を提案する。この手法により、正確なk-NN検索に比べてほぼ100倍高速でありながら、BM25よりも最大21.6%の再現率向上を達成する近似k-NN検索が可能となり、k-NNが速度と有効性の両面で標準的なインverted indexパイプラインを上回ることを示している。

ABSTRACT

Retrieval pipelines commonly rely on a term-based search to obtain candidate records, which are subsequently re-ranked. Some candidates are missed by this approach, e.g., due to a vocabulary mismatch. We address this issue by replacing the term-based search with a generic k-NN retrieval algorithm, where a similarity function can take into account subtle term associations. While an exact brute-force k-NN search using this similarity function is slow, we demonstrate that an approximate algorithm can be nearly two orders of magnitude faster at the expense of only a small loss in accuracy. A retrieval pipeline using an approximate k-NN search can be more effective and efficient than the term-based pipeline. This opens up new possibilities for designing effective retrieval pipelines. Our software (including data-generating code) and derivative data based on the Stack Overflow collection is available online.

研究の動機と目的

• 語彙ギャップの解消を目的とし、同義語や多義語の影響によりクエリ語とドキュメント語が一致しない状況を改善すること。
• 非メトリックかつ非対称な類似度関数を用いたk-NN検索が、従来の語彙ベースのinverted indexパイプラインを上回ることを示すこと。
• 複雑な類似度関数における正確な検索の計算コストが高いため、近似k-NNアルゴリズムを用いて効率的かつスケーラブルな検索を実現すること。
• 語彙ギャップを埋めるために、1クエリ語あたり15,000件の語の関連付けが必要であることを示し、これは語彙ベースのインデキシングでは非現実的だが、k-NNフレームワークでは実現可能であることを示すこと。

提案手法

• 語彙の共起を超えた関連性をモデル化するため、BM25スコアとIBM Model 1の対数尤度スコアを組み合わせた類似度関数を提案する。
• LSHやメトリック空間の仮定に依存しない、ピボット技術を用いて近似k-NN検索を高速化する。
• 正確なk-NN検索にほぼ同等の精度を達成しながら、検索時間をほぼ2桁減少させる近似k-NNアルゴリズムを採用する。
• WikipediaのTF×IDFベクトルにおける角距離を用いた場合、テキストベクトルの内部次元数が約2500程度であることに着目し、効率的な検索を可能にする。
• IBM Model 1から導出された確率を用いて、翻訳テーブル$T(q|a)$を用いたクエリ拡張戦略を実装する。ここで$q$はクエリ語、$a$は潜在的な同義語である。
• Luceneのinverted indexを置き換えるベクトルベースのk-NN検索レイヤーを統合した検索システムにk-NNパイプラインを統合する。

実験結果

リサーチクエスチョン

• RQ1 BM25+Model 1のような非メトリックかつ非対称な類似度関数を用いたk-NN検索が、有効性と効率の両面で従来の語彙ベースの検索を上回るか？
• RQ2 語彙ギャップを顕著に低減させるために、どの程度の語の関連付け（例：同義語）が必要か？また、この規模の関連付けはk-NNフレームワークで現実的か？
• RQ3 近似k-NN検索は、複雑な類似度関数における正確な検索に比べて著しく高速でありながら、ほぼ正確な精度を達成できるか？
• RQ4 k-NNベースの検索は、語彙ギャップの処理においてLuceneの語彙ベースパイプラインよりも有効性が高いか？
• RQ5 ピボットに基づく近似k-NN検索は、標準的なLSH手法に適さない非メトリックな類似度関数に対しても、効率的に適用可能か？

主な発見

• BM25とIBM Model 1を組み合わせた類似度関数を用いることで、1クエリ語あたり平均15,000件の関連付けを用いたk-NNパイプラインは、BM25に比べて平均平均精度（P@1）を21.6%向上させた。
• 近似k-NN検索は、正確なブルートフォースk-NN検索に比べてほぼ2桁の高速化を達成し、わずかな精度の損失にとどまった。
• k-NNパイプラインはLuceneよりも1.5倍高速でありながら、より高い有効性を達成しており、k-NNが従来のinverted indexシステムを上回ることを示している。
• BM25に比べ21.6%の向上を達成するには、1クエリ語あたり最低15,000件の翻訳テーブルエントリが必要であり、語彙ギャップを埋めるために必要な語の別名のスケールが顕著に現れている。
• 長文クエリでは効果的であるが、Web検索で一般的な短いアドホッククエリにおける性能は依然として不確かである。
• LSHに依存せず、ピボット技術を用いることで、従来のk-NN情報検索研究では稀な非対称的かつ非メトリックな類似度を効果的に処理できた。