[論文レビュー] A novel model for query expansion using pseudo-relevant web knowledge

Hiteshwar Kumar Azad, Akshay Deepak|arXiv (Cornell University)|Aug 27, 2019

Information Retrieval and Search Behavior参考文献 53被引用数 4

ひとこと要約

本稿では、Google、Bing、DuckDuckGoから得られる疑似関連Webコンテンツを活用して拡張クエリ語を生成することにより、情報検索の効果を向上させる、新しいWeb知識ベースのクエリ拡張（WKQE）モデルを提案する。tf-itf、kNNベースのコサイン類似度、相関スコアリングの三段階重み付け戦略を用い、検索効果を向上させ、FIREデータセット上で未拡張クエリに比べてMAPで25.89%、GMAPで30.83%の向上を達成した。

ABSTRACT

In the field of information retrieval, query expansion (QE) has long been used as a technique to deal with the fundamental issue of word mismatch between a user's query and the target information. In the context of the relationship between the query and expanded terms, existing weighting techniques often fail to appropriately capture the term-term relationship and term to the whole query relationship, resulting in low retrieval effectiveness. Our proposed QE approach addresses this by proposing three weighting models based on (1) tf-itf, (2) k-nearest neighbor (kNN) based cosine similarity, and (3) correlation score. Further, to extract the initial set of expanded terms, we use pseudo-relevant web knowledge consisting of the top N web pages returned by the three popular search engines namely, Google, Bing, and DuckDuckGo, in response to the original query. Among the three weighting models, tf-itf scores each of the individual terms obtained from the web content, kNN-based cosine similarity scores the expansion terms to obtain the term-term relationship, and correlation score weighs the selected expansion terms with respect to the whole query. The proposed model, called web knowledge based query expansion (WKQE), achieves an improvement of 25.89% on the MAP score and 30.83% on the GMAP score over the unexpanded queries on the FIRE dataset. A comparative analysis of the WKQE techniques with other related approaches clearly shows significant improvement in the retrieval performance. We have also analyzed the effect of varying the number of pseudo-relevant documents and expansion terms on the retrieval effectiveness of the proposed model.

研究の動機と目的

• 短く曖昧なユーザークエリに起因する語彙の不一致問題に対処すること。
• 従来の重み付けモデルに比べ、語-語関係および語-クエリ関連性をより効果的に捉えることでクエリ拡張を改善すること。
• 複数の検索エンジン（Google、Bing、DuckDuckGo）からの疑似関連結果を拡張語の出典として組み合わせることの有効性を調査すること。
• 疑似関連文書および拡張語の数を変化させた場合の検索パフォーマンスへの影響を評価すること。
• tf-itf、kNNベースの類似度、相関スコアリングを統合したハイブリッド重み付けフレームワークを構築し、検証すること。

提案手法

• 各ユーザークエリについて、3つの主要検索エンジン（Google、Bing、DuckDuckGo）から上位N件のWeb結果を収集し、疑似関連文書プールを構築する。
• これらの上位表示Webページの集約コンテンツから候補となる拡張語を抽出する。
• Webコンテンツ内の頻度および逆語彙頻度に基づいて、個々の語のスコアをtf-itf重み付け方式で算出する。
• k近傍法（kNN）ベースのコサイン類似度を用いて、意味的に関連する拡張語を特定し、語-語関係をモデル化する。
• 各拡張語が元のクエリ全体とどの程度整合しているかを評価するため、相関スコアを計算する。
• 3つの重み付けスコアを統合し、最終的な拡張語の選択と順序付けを行う。

実験結果

リサーチクエスチョン

• RQ1 複数の検索エンジンからのWebコンテンツを統合することで、単一ソースアプローチに比べ、クエリ拡張の効果がどの程度向上するか？
• RQ2 提案された3つの重み付けモデル（tf-itf、kNNベースのコサイン類似度、相関スコア）が、語の関連性および検索パフォーマンスをどの程度向上させるか？
• RQ3 疑似関連文書および拡張語の数が、WKQEモデルの全体的な検索効果にどの程度影響を与えるか？
• RQ4 標準評価指標において、WKQEモデルはベースラインおよび最先端のクエリ拡張手法に比べてどの程度優れているか？
• RQ5 提案された三段階重み付け戦略は、従来の手法に比べ、語-語関係および語-クエリ関係の両方をよりよく捉えられるか？

主な発見

• WKQEモデルは、FIREデータセット上で未拡張クエリに比べ、平均平均精度（MAP）で25.89%、GMAPで30.83%の向上を達成した。
• kNNベースのコサイン類似度および相関スコアリングモデルは、個々の語頻度手法に比べ、意味的関係を顕著に効果的に捉えている。
• 3つの検索エンジン（Google、Bing、DuckDuckGo）の結果を統合することで、単一エンジンを使用する場合に比べ、より多様で関連性の高い拡張語が得られた。
• モデルのパフォーマンスは拡張語の数に敏感であり、最適な結果は15〜20語の範囲で観察され、それ以上になるとパフォーマンスが安定化または低下した。
• 3つの重み付けモデルを統合したGBDQE変種は、すべての評価指標で他の構成およびベースライン手法を一貫して上回った。
• 事例研究では、モデルが意味的に整合性があり、文脈的に関連性のある拡張語を生成していることが示された。例えば、「宇宙での生活」というクエリに対して、'nasa'、'mars'、'space'を追加している。