[論文レビュー] Using Word Embeddings for Automatic Query Expansion

Dwaipayan Roy, Debjyoti Paul+2 more|arXiv (Cornell University)|Jun 24, 2016

Topic Modeling参考文献 7被引用数 86

ひとこと要約

本稿では、語の分散表現（word2vec）を用いたクエリ拡張手法を提案し、語の分散表現空間におけるk近傍探索により意味的に関連する語を検索することで、アドホック情報検索の性能を向上させることを目的としている。ベースライン手法を上回るが、統計的フィードバックに基づくRM3という手法に大きく劣っており、語の分散表現からの意味的類似度だけでは、共起統計に比べてクエリ拡張にあまり効果的でないことが示された。

ABSTRACT

In this paper a framework for Automatic Query Expansion (AQE) is proposed using distributed neural language model word2vec. Using semantic and contextual relation in a distributed and unsupervised framework, word2vec learns a low dimensional embedding for each vocabulary entry. Using such a framework, we devise a query expansion technique, where related terms to a query are obtained by K-nearest neighbor approach. We explore the performance of the AQE methods, with and without feedback query expansion, and a variant of simple K-nearest neighbor in the proposed framework. Experiments on standard TREC ad-hoc data (Disk 4, 5 with query sets 301-450, 601-700) and web data (WT10G data with query set 451-550) shows significant improvement over standard term-overlapping based retrieval methods. However the proposed method fails to achieve comparable performance with statistical co-occurrence based feedback method such as RM3. We have also found that the word2vec based query expansion methods perform similarly with and without any feedback information.

研究の動機と目的

• 語の分散表現がアドホック検索における自動クエリ拡張（AQE）を向上させられるかどうかを調査すること。
• word2vecの分散表現を用いたk近傍法（kNN）によるクエリ拡張の有効性を、関連性フィードバックの有無に関わらず評価すること。
• 既存のフィードバックベース手法（例：RM3）と比較して、分散表現ベースのAQE手法の性能を評価すること。
• 分散表現ベースの拡張が、さまざまなクエリタイプにおいて一貫して有効かどうかを分析すること。
• 語の分散表現と共起統計を組み合わせることでAQE性能が向上する可能性を検討すること。

提案手法

• 語の分散表現（word2vec）を用いて、語彙内のすべての語に対して密な低次元ベクトル表現を生成し、意味的・構文的関係を捉える。
• クエリ拡張のため、各クエリ語のk近傍語を、語の分散表現空間におけるコサイン類似度を用いて検索する。
• 候補となる拡張語は、すべてのクエリ語との平均コサイン類似度に基づいて選択され、拡張クエリ集合が形成される。
• 3つのバリエーションを評価：前処理kNN（フィードバックなし）、後処理kNN（フィードバックに基づく検索空間）、段階的kNN（反復的改善）。
• 段階的手法では、関連性フィードバックに基づいて探索空間を段階的に縮小しながら近傍語を計算し、効率性と的を絞った検索を実現する。
• 検索効果は、TRECアドホック（Disk 4,5）およびWT10Gウェブデータセットで標準的な指標（MAP、P@10）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 語の分散表現のk近傍探索を用いたクエリ拡張は、ベースライン手法に比べて検索効果を向上させるか？
• RQ2 関連性フィードバックを組み込むことで、分散表現ベースのクエリ拡張の性能を向上させられるか？
• RQ3 word2vecベースのAQEの性能は、確立されたRM3フィードバック手法に比べてどうか？
• RQ4 特定のクエリタイプにおいて、分散表現ベースの拡張がより良くも悪くも働くか？
• RQ5 語の分散表現と共起統計を組み合わせることで、AQE性能がさらに向上するか？

主な発見

• 提案されたword2vecベースのクエリ拡張手法は、TRECアドホックおよびWT10Gウェブデータセットの両方で、拡張なしベースラインに比べて検索性能を顕著に向上させた。
• 前処理kNNと後処理kNNの両手法は同等の性能を示し、統計的に有意な差は認められず、フィードバックが分散表現ベースの類似度測定を向上させないことが示された。
• 段階的kNN手法が分散表現ベース手法の中で最高の性能を示し、TREC 451-550セットではMAPが0.2956に達した。これはベースラインを顕著に上回った。
• 改善は見られたが、すべての分散表現ベース手法はRM3に大きく劣っており、同じデータセットでRM3はMAP 0.3304を達成した。これは、共起統計が意味的類似度だけに依存するよりも、クエリ拡張に有効であることを示している。
• 段階的手法は一般的に安全であり、大多数のクエリで性能を向上させ、わずかに一部のクエリでのみ悪影響を及ぼしたことが、クエリごとの分析で示された。
• 本研究では、word2vecの分散表現だけでは、効果的なクエリ拡張に不可欠な共起パターンを捉えられていないことが判明し、RM3との性能差の理由が説明された。