[論文レビュー] TinySearch -- Semantics based Search Engine using Bert Embeddings

Manish Patel|arXiv (Cornell University)|Aug 7, 2019

Topic Modeling参考文献 2被引用数 8

ひとこと要約

本論文では、キーワードマッチングに依存せず文脈的な意味を捉えることで、複雑なクエリの検索を改善する、意味ベースの検索エンジンTinySearchを提案する。BERT埋め込みを活用することで、文脈的意味を捉えることで、キーワードマッチングに依存しない検索を実現し、複雑なクエリにおいて従来の検索手法を上回る性能を示す。文書のランク付けは、密度的な文の埋め込みを用いた意味的類似度に基づく。意味的類似度を用いることで、曖昧で複雑な情報ニーズに対して顕著な関連性の向上が得られた。

ABSTRACT

Existing search engines use keyword matching or tf-idf based matching to map the query to the web-documents and rank them. They also consider other factors such as page rank, hubs-and-authority scores, knowledge graphs to make the results more meaningful. However, the existing search engines fail to capture the meaning of query when it becomes large and complex. BERT, introduced by Google in 2018, provides embeddings for words as well as sentences. In this paper, I have developed a semantics-oriented search engine using neural networks and BERT embeddings that can search for query and rank the documents in the order of the most meaningful to least meaningful. The results shows improvement over one existing search engine for complex queries for given set of documents.

研究の動機と目的

• 従来の検索エンジンが複雑なクエリの意味的意味を理解できないという限界を解決すること。
• キーワードの重複に依存せず、意味的類似度に基づいて文書をランク付けする検索システムを開発すること。
• リtrieバルにおける文レベルの意味的表現として、事前学習済みBERT埋め込みを活用すること。
• キーワードベースの手法が失敗するような複雑なクエリにおける性能を評価すること。
• 従来の情報検索技術と比較して、文脈的埋め込みを用いることで関連性ランク付けが向上することを示すこと。

提案手法

• クエリおよび文書の両方に対してBERTを用いて、密度的な文脈的埋め込みを生成する。
• クエリと文書の埋め込み間の意味的類似度をコサイン類似度を用いて計算する。
• 入力クエリとの意味的類似度に基づいて、文書をランク付けする。
• 与えられた文書コレクション上で、リtrieバルタスク用にBERTベースのモデルを訓練および微調整する。
• クエリと文書をBERTエンコーダーで処理し、ベクトル表現を生成するリtrieバルパイプラインを採用する。
• 従来のtf-idfやキーワードベースのマッチングではなく、意味的マッチングアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの文の埋め込みは、複雑で自然言語のクエリにおける検索の関連性を向上させることができるか？
• RQ2 意味的検索エンジンは、キーワードベースのシステムと比較して、複雑なクエリにおけるランク付け精度で優れているか？
• RQ3 文脈的埋め込みは、長く曖昧なクエリの意味をどの程度正確に捉えることができるか？
• RQ4 BERT埋め込みを用いることで、ページランクやtf-idfのようなヒューリスティック特徴への依存が軽減されるか？
• RQ5 軽量な意味検索エンジンは、既存のシステムに比べて複雑なクエリセットにおいてより優れたパフォーマンスを発揮できるか？

主な発見

• 提案されたTinySearchシステムは、ベースラインのキーワードベース検索エンジンと比較して、複雑なクエリにおいてより優れたランク付けパフォーマンスを達成した。
• BERT埋め込みを用いた意味的類似度は、従来のキーワードマッチングよりも意味的につながりのある文書のランク付けを実現した。
• 特に長く曖昧なクエリにおいて、文脈的意味を効果的に捉えることができた。
• 意味的理解が重要なクエリにおいて、関連性の向上が明確に測定された。
• 事前学習済みBERT埋め込みを用いることで、膨大な再訓練を要せず高品質な意味的表現が可能になった。
• 密な意味的埋め込みが、複雑なリtrieバルシナリオにおいて、スパースなキーワードベース手法を上回ることを示した。