[論文レビュー] Predicting User Preferences

Pavel Sirotkin|arXiv (Cornell University)|Mar 15, 2011

Web Data Mining and Analysis参考文献 12被引用数 3

ひとこと要約

本稿では、検索結果におけるユーザの好みを実際に予測できる検索メトリクスの評価に新たな指標を提案する。この指標を用いて、Discounted Cumulative Gain（DCG）がMean Average Precision や古典的精度を上回ること、逆説的ではあるが、結果をより多く含めることでメトリクスの予測力が低下することを明らかにする。

ABSTRACT

The many metrics employed for the evaluation of search engine results have not themselves been conclusively evaluated. We propose a new measure for a metric's ability to identify user preference of result lists. Using this measure, we evaluate the metrics Discounted Cumulated Gain, Mean Average Precision and classical precision, finding that the former performs best. We also show that considering more results for a given query can impair rather than improve a metric's ability to predict user preferences.

研究の動機と目的

• 既存の検索評価メトリクスに対する明確な評価が不足しているという問題に取り組む。
• メトリクスが実際にユーザの好みをどの程度うまく予測できるかを定量的に評価する新しい指標を開発する。
• 広く使われているメトリクスであるDCG、MAP、古典的精度の予測性能を比較する。
• 結果リスト長がメトリクスのユーザ好み予測能力に与える影響を調査する。

提案手法

• ユーザ行動データに基づいて、メトリクスのユーザ好み予測能力を評価するための新規指標を提案する。
• 実際のユーザ好みデータを用いて、提案指標のキャリブレーションと検証を行う。
• Discounted Cumulative Gain（DCG）、Mean Average Precision（MAP）、古典的精度の3つの標準メトリクスを評価するためにこの指標を適用する。
• クエリごとに考慮する結果数を系統的に変化させ、予測性能への影響を評価する。
• 統計的分析を用いて、異なるリスト長における各メトリクスの予測精度を比較する。
• 実世界の検索評価環境からの実データを用いて、研究結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なリtrievalメトリクスは、検索結果における実際のユーザ好みをどの程度うまく予測できるか？
• RQ2 DCG、MAP、古典的精度のうち、どのメトリクスがユーザ好みを最も正確に予測できるか？
• RQ3 結果リストの長さを延ばすことで、メトリクスのユーザ好み予測能力は向上するか、あるいは低下するか？
• RQ4 メトリクスの予測力の最大化を図るには、最適なリスト長は何か？

主な発見

• Discounted Cumulative Gain（DCG）は、評価されたメトリクスの中で予測性能が最も高いことが示された。
• Mean Average Precision（MAP）は、ユーザ好みの予測においてDCGより劣る性能を示した。
• 古典的精度は、テストされた3つのメトリクスの中で最も弱い予測能力を示した。
• 結果リストに含める結果数を増やすことで、すべてのメトリクスの予測力が低下することが判明した。これは一般的な直感とは逆である。
• 本研究では、長い結果リストがメトリクスのユーザ好み予測能力を損なうことが明らかになった。これは、あるリスト長を超えると収益が減少する傾向があることを示唆している。