[論文レビュー] How Relevant is the Long Tail? A Relevance Assessment Study on Million Short

Philipp Schaer, Philipp Mayr+2 more|arXiv (Cornell University)|Jun 20, 2016

Information Retrieval and Search Behavior参考文献 5被引用数 4

ひとこと要約

本研究では、上位サイトを除外する長尾検索エンジンである Million Short を用いて、Web 検索エンジンの結果リストにおける長尾部分の関連性を評価した。ヘッドとテイルの結果には明確なコンテンツの違いがあるものの、二値の関連性判断では有意な差は認められず、順位関連性ではわずかに有意な低下が見られたにとどまり、長尾には価値があり多様な情報が含まれており、結果の多様化に活用する価値があることが示された。

ABSTRACT

Users of web search engines are known to mostly focus on the top ranked results of the search engine result page. While many studies support this well known information seeking pattern only few studies concentrate on the question what users are missing by neglecting lower ranked results. To learn more about the relevance distributions in the so-called long tail we conducted a relevance assessment study with the Million Short long-tail web search engine. While we see a clear difference in the content between the head and the tail of the search engine result list we see no statistical significant differences in the binary relevance judgments and weak significant differences when using graded relevance. The tail contains different but still valuable results. We argue that the long tail can be a rich source for the diversification of web search engine result lists but it needs more evaluation to clearly describe the differences.

研究の動機と目的

• 検索エンジンの結果リストにおける長尾部分が、上位結果を超えて価値ある関連情報を含むかどうかを調査すること。
• 長尾検索エンジンにおける上位1000サイト（ヘッド）と除外されたサイト（テイル）の結果の関連性を比較すること。
• 人気度でフィルタリングされた長尾結果が、検索取得において意味のある多様性と有用性を提供するかどうかを評価すること。
• ユーザーの評価パターンとコメントの種類を分析し、ヘッドとテイル結果における質の認識の違いを明らかにすること。

提案手法

• 33名のLIS学生が、Million Short の長尾の異なる深さにおける文書を最大30件ずつ評価する関連性評価研究を実施した。
• 二値関連性判断（P@n、MAP@n）と順位関連性（NDCG@n）を用いて、3つの結果深さ（0k（ヘッド）、10k、1000k（テイル））における検索性能を評価した。
• 結果の深さ間での性能差の有意性を評価するために、スチューデントのt検定を適用した。
• 評価者からの自由記述コメントを分析し、信頼性、言語、コンテンツタイプの不一致といった共通する問題を特定した。
• 結果リスト間のコンテンツ差を測定するために、ケンダールのτと重複率（インターセクションパcentage）を用いた。
• Million Short のアーキテクチャ（AlexaデータとBing APIを用いた上位サイトのフィルタリング）を用いて、長尾結果を分離・取得した。

実験結果

リサーチクエスチョン

• RQ1 検索エンジンの結果リストにおける長尾部分は、ヘッドと比較して関連性があり価値ある情報を持っているか？
• RQ2 二値関連性判断を用いた場合、ヘッドとテイルの結果間に統計的に有意な差があるか？
• RQ3 順位関連性はヘッドとテイルでどのように異なるか。その差は統計的に意味があるか？
• RQ4 長尾結果とヘッド結果を区別するユーザーのフィードバックやコメントのパターンはどのようなものか？
• RQ5 長尾結果は、標準的な検索結果リストの多様化に意味的に活用できるか？

主な発見

• 二値関連性指標（P@n、MAP@n）において、結果リストのヘッド（0k）とテイル（1000k）の間に有意な差は認められず、p値はα=0.05を超えていた。
• NDCG@5およびNDCG@10において、1000kのテイルでわずかだが弱く有意な低下が観察された（p ≤ 0.1）、順位関連性のわずかな低下を示した。
• ケンダールのτおよびインターセクション値から、結果セット間で順位順序に明確な差が認められ、ヘッドとテイルのコンテンツ構成が異なることが示された。
• 評価者は、長尾結果（10kおよび1000k）に対してのみ、信頼性や結果の具体的さ／広範さの問題を報告したが、ヘッド（0k）ではそうではなかった。
• コメント分析から、「コンテンツタイプの誤り」と「コンテンツの欠落」が一般的な問題であることが判明し、システム全体で20％のコメントがコンテンツタイプの不一致を指摘していた。
• 本研究は、長尾結果が有意に関連性が低いわけではないが、その潜在的価値を引き出すには、より良いメタデータと評価フレームワークの整備が求められると示唆している。