[論文レビュー] Representing Documents and Queries as Sets of Word Embedded Vectors for Information Retrieval

Dwaipayan Roy, Debasis Ganguly+2 more|arXiv (Cornell University)|Jun 25, 2016

Topic Modeling参考文献 13被引用数 10

ひとこと要約

本稿では、文書と照会を語彙埋め込みベクトルの集合として表現し、ガウス混合モデルを用いて意味的構成性を捉える、革新的な情報検索手法を提案する。照会の尤度を文書ベクトルクラスタへの平均距離に基づいて計算することにより、語彙埋め込み類似度と従来の言語モデルを統合し、TRECおよびRobustのアドホック検索コレクションにおいてMAPを最大5.77%向上させる。

ABSTRACT

A major difficulty in applying word vector embeddings in IR is in devising an effective and efficient strategy for obtaining representations of compound units of text, such as whole documents, (in comparison to the atomic words), for the purpose of indexing and scoring documents. Instead of striving for a suitable method for obtaining a single vector representation of a large document of text, we rather aim for developing a similarity metric that makes use of the similarities between the individual embedded word vectors in a document and a query. More specifically, we represent a document and a query as sets of word vectors, and use a standard notion of similarity measure between these sets, computed as a function of the similarities between each constituent word pair from these sets. We then make use of this similarity measure in combination with standard IR based similarities for document ranking. The results of our initial experimental investigations shows that our proposed method improves MAP by up to $5.77\%$, in comparison to standard text-based language model similarity, on the TREC ad-hoc dataset.

研究の動機と目的

• 効果的な情報検索のため、事前学習済み語彙埋め込みを用いて文書全体および照会を表現する課題に対処すること。
• 大規模な文書表現において、ベクトル平均化やdoc2vecの限界を克服すること。これらは非効率的で不正確である。
• 照会と文書間の語彙埋め込みベクトルのペアワイズ類似度を活用するスケーラブルで効果的な類似度メトリクスを開発すること。
• 語彙埋め込みベースの照会尤度と標準言語モデル類似度を組み合わせることで、文書ランク付けを向上させること。
• 文書の意味的構造をよりよくモデル化するため、語彙埋め込みを意味的コンセプトにクラスタリングする有効性を検討すること。

提案手法

• 各文書をガウス分布の混合として表現し、各成分は文書に含まれる語彙ベクトルのクラスタに対応する。
• 照会を語彙ベクトルの集合としてモデル化し、照会尤度を照会ベクトルから文書のガウス中心への平均距離として計算する。
• 個々の語彙ベクトル類似度の関数として、文書と照会間の類似度を計算する集合ベースの類似度測定法を用いる。
• 語彙埋め込みベースの照会尤度と標準言語モデル（LM）尤度を組み合わせて文書スコアを算出する。
• 取得した結果を用いて再帰的フィードバックを適用し、照会表現を精緻化してランク付けを向上させる。
• 意味的粒度とパフォーマンスのバランスを取るために、文書ベクトル表現におけるクラスタ数（K）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 語彙埋め込みを用いた文書および照会の集合ベース表現は、従来の言語モデルと比較して検索パフォーマンスを向上させることができるか？
• RQ2 語彙ベクトルをK個の意味的コンセプトにクラスタリングすることは、文書表現および検索の有効性にどのように影響するか？
• RQ3 標準テストコレクションにおける検索パフォーマンスの観点から、文書を表現するための最適なクラスタ数（K）は何か？
• RQ4 語彙埋め込みベースの類似度と標準言語モデル類似度を組み合わせることで、さまざまなTRECコレクションで一貫した改善が得られるか？
• RQ5 提案手法は、IRシステムにおける再帰的フィードバックおよび照会拡張に効果的に利用可能か？

主な発見

• 提案手法は、TREC 6, 7, 8およびRobustのアドホックテストコレクションにおいて、標準言語モデルベースラインと比較して平均平均精度（MAP）を最大5.77%向上させる。
• TREC 8およびRobustでは、K=100クラスタで最良のパフォーマンスが達成され、上位順位での精度と再現率の両方で顕著な向上が見られた。
• TREC 6および7では、単一ポイント表現（K=1）がK=100を上回り、100クラスタでは小規模コレクションの語彙多様性を十分に捉えられていない可能性を示唆している。
• 言語モデルと語彙埋め込みベースの類似度の組み合わせは、常に検索結果を向上させ、特にTREC 8およびRobustで顕著な改善が見られた。
• オラクルベースのアプローチ（各照会に対して最良の手法を完璧に選択すると仮定）では、TREC 6で最大MAP向上0.0029、Robustで同様に0.0029が得られ、選択的適用によりさらなる向上の余地があることを示唆している。
• 照会ごとの分析から、語彙埋め込みベースの尤度は一部の照会では顕著に有益である一方で、他の照会では逆効果となることが判明し、適応的選択戦略の余地があることが示唆された。