[論文レビュー] Bridging the Gap: a Semantic Similarity Measure between Queries and Documents

Sun Kim, W. John Wilbur+1 more|arXiv (Cornell University)|Aug 5, 2016

Topic Modeling参考文献 47被引用数 8

ひとこと要約

この論文では、意味的関係を捉えるためにニューラルワード埋め込みを用いた、ワードモーバー距離（WMD）に基づく新しいクエリ-ドキュメント類似度測定法を提案する。この手法は、語の意味的近接性を活用することで、TRECおよびPubMedのベンチマークにおいてBM25を上回り、さらにBM25と組み合わせることでさらなる性能向上を達成し、語の共起が少ない状況下でも関連ドキュメントを効果的に特定できることを示している。

ABSTRACT

The main approach of traditional information retrieval (IR) is to examine how many words from a query appear in a document. A drawback of this approach, however, is that it may fail to detect relevant documents where no or only few words from a query are found. The semantic analysis methods such as LSA (latent semantic analysis) and LDA (latent Dirichlet allocation) have been proposed to address the issue, but their performance is not superior compared to common IR approaches. Here we present a query-document similarity measure motivated by the Word Mover's Distance. Unlike other similarity measures, the proposed method relies on neural word embeddings to calculate the distance between words. Our method is efficient and straightforward to implement. The experimental results on TREC and PubMed show that our approach provides significantly better performance than BM25. We also discuss the pros and cons of our approach and show that there is a synergy effect when the word embedding measure is combined with the BM25 function.

研究の動機と目的

• 従来の情報検索手法がキーワードの完全一致に依存し、クエリとドキュメントに共通語がほとんどない場合に失敗するという限界を是正すること。
• ニューラル埋め込みを用いて語の意味的表現を活用することで、ドキュメント検索の性能を向上させること。
• キーワードの共起を超えた意味的類似度を捉える、効率的かつ実装可能な類似度測定法の開発。
• 提案手法をBM25 や LDA/LSA といった標準的な情報検索ベースラインと比較し、ベンチマークデータセット上で評価すること。
• 提案された埋め込みベースの類似度測定法と、BM25 などの従来の情報検索関数との間の相乗効果の可能性を調査すること。

提案手法

• 手法は、語を連続的ベクトル空間に表現する事前学習済みのニューラルワード埋め込みを用いる。
• ワードモーバー距離（WMD）を用いて、クエリの語分布をドキュメントの語分布に変換するために必要な最小距離を計算する。
• WMDは、クエリの語をドキュメント内の最も近い語に移動させるために必要な累積距離の最小値として計算され、語の頻度で重み付けされる。
• 得られたWMDスコアは、クエリとドキュメント間の意味的類似度測定値として機能する。
• WMDスコアとBM25の重み付き和を用いて、ハイブリッド検索性能を検証する。
• 標準的な情報検索評価指標を用いて、TRECおよびPubMedデータセット上で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 ワード埋め込みに基づく意味的類似度測定法は、BM25 などの従来の語の一致に基づく手法を上回る性能を示せるか？
• RQ2 語の共起が少ない状況下で、ワードモーバー距離はクエリとドキュメント間の意味的類似度を効果的に捉えられるか？
• RQ3 提案された埋め込みベースの類似度測定法とBM25を組み合わせることで、単独で使用する場合よりも性能が向上するか？
• RQ4 LSA や LDA といった既存の意味的情報検索手法と比較して、提案手法の性能はどの程度か？
• RQ5 情報検索環境において、WMD とワード埋め込みを用いることの計算的・実装上のトレードオフは何か？

主な発見

• 提案されたWMDベースの類似度測定法は、TRECおよびPubMedの両ベンチマークデータセットでBM25を顕著に上回る性能を示した。
• クエリとドキュメントの間で語の共起がほとんどない状況下でも、関連ドキュメントの検索性能が優れていることが確認された。
• WMDベースの測定法とBM25の組み合わせにより、相乗効果が得られ、単独で使用する場合よりもさらなる性能向上が達成された。
• ニューラルワード埋め込みとWMDを組み合わせたアプローチは、効率的かつ実装が容易であり、実世界の情報検索システムにおいて実用的である。
• LSA や LDA といった、かつて最先端とされていた意味的情報検索手法を上回る性能を示した。
• 結果から、ワード埋め込みによる意味的類似度は、従来のキーワードベースやトピックモデル手法よりもより強固な検索メカニズムを提供することが確認された。