[論文レビュー] An Axiomatic Analysis of Diversity Evaluation Metrics: Introducing the Rank-Biased Utility Metric

Enrique Amigó, Damiano Spina+1 more|arXiv (Cornell University)|May 7, 2018

Information Retrieval and Search Behavior参考文献 25被引用数 7

ひとこと要約

本稿では、関連性および多様性のための包括的な公理的制約を満たす、検索結果の多様性評価のための新しい指標であるランク・バイアス・ユーティリティ（RBU）を紹介する。RBUは、ユーザーの作業負荷と重複度を変更されたランク・バイアス・プレシジョンフレームワークに統合し、標準的なテストコレクションにおいて、シナリオ固有の知識なしに広範な品質基準を捉えることで、既存の指標を上回る一貫性を示す。

ABSTRACT

Many evaluation metrics have been defined to evaluate the effectiveness ad-hoc retrieval and search result diversification systems. However, it is often unclear which evaluation metric should be used to analyze the performance of retrieval systems given a specific task. Axiomatic analysis is an informative mechanism to understand the fundamentals of metrics and their suitability for particular scenarios. In this paper, we define a constraint-based axiomatic framework to study the suitability of existing metrics in search result diversification scenarios. The analysis informed the definition of Rank-Biased Utility (RBU) -- an adaptation of the well-known Rank-Biased Precision metric -- that takes into account redundancy and the user effort associated to the inspection of documents in the ranking. Our experiments over standard diversity evaluation campaigns show that the proposed metric captures quality criteria reflected by different metrics, being suitable in the absence of knowledge about particular features of the scenario under study.

研究の動機と目的

• 検索結果の多様性評価システムのための基本的品質基準を、形式的な公理的枠組みを通じて同定すること。
• 関連性、多様性、重複度、ユーザー作業負荷を捉える10の形式的制約を用いて、既存の多様性指標を分析すること。
• 同時にすべての望ましい制約を満たさない既存の指標におけるギャップを同定すること。
• すべての提示された制約を満たす新しい指標、ランク・バイアス・ユーティリティ（RBU）を提案すること。
• 標準的な評価キャンペーンを通じて、RBUが多様な品質側面をどのように捉えているかを検証すること。

提案手法

• 関連性、多様性、重複度、ユーザー作業負荷をカバーする10の形式的公理を含む、制約に基づく公理的枠組みを定義すること。
• ユーザー作業負荷パラメータ e と重複度処理を組み込んだことで、ランク・バイアス・プレシジョンを変更し、RBUを構築すること。
• RBUが10の公理すべてを満たすことを形式的に証明し、基本的な評価原則と整合していることを保証すること。
• ユーザーの検査行動をモデル化するため、可変パラメータ p（重要度の減衰）と e（作業コスト）を備えたRBUの実装を行うこと。
• TREC WebおよびDynamic Domainトラックの公式指標と比較してRBUを評価し、メタ評価指標として平均ユーティリティ（MU）を用いること。
• MUを用いて指標間の合意度を評価し、RBUが他の指標と順位の質に関してどの程度一致するかを測定すること。

実験結果

リサーチクエスチョン

• RQ1 検索結果の多様性評価システムの有効性を評価するための、どの形式的制約が必要か？
• RQ2 既存の多様性評価指標は、提示されたすべての公理を満たしているか？
• RQ3 すべての公理を満たすとともに、多様な品質側面を捉えることができる単一の指標を構築できるか？
• RQ4 RBUは、テストコレクション全体における合意度と一致度という観点から、公式指標と比べてどのように差をつけるか？
• RQ5 ユーザー作業負荷パラメータ e は、RBUの性能と頑健性にどの程度影響を与えるか？

主な発見

• 既存の多様性指標のいずれも、提示された10の公理をすべて満たさないことが判明し、現在の評価手法における重要なギャップが明らかになった。
• RBUは10の公理すべてを満たしており、システム動作の事前知識なしに、多様なリtrievalシナリオに理論的に適している。
• TREC Web Trackの実験では、k=20のカットオフでRBUが平均ユーティリティ（MU）スコア0.9556を記録し、公式指標を上回った。
• 作業負荷パラメータ e をゼロに設定した場合でも、RBUは他のすべての指標を上回り、作業負荷モデル化に依存しない頑健性を確認した。
• TREC Dynamic Domain 2015トラックでは、RBUのバリエーションがMUスコアでトップを記録し、異なるインタラクティブ検索シナリオにおいて一貫した優位性を示した。
• 複数のテストコレクションにおいてRBUが評価意思決定を一貫して達成したため、既存の指標よりも広範な品質基準を捉えていることが示された。