[論文レビュー] Categorical, Ratio, and Professorial Data: The Case for Reciprocal Rank

Alistair Moffat|arXiv (Cornell University)|Dec 20, 2023

Advanced Text Analysis Techniques被引用数 21

ひとこと要約

本論文は、 reciprocal rank (RR) およびその他のカテゴリを数値へ写像するマッピングが、ユーザーの行動に動機づけられる場合に SERP 評価の平均として正当に用いられ得ることを主張し、この文脈における区間尺度と比尺度の違いを明確にする。

ABSTRACT

Search engine results pages are usually abstracted as binary relevance vectors and hence are categorical data, meaning that only a limited set of operations is permitted, most notably tabulation of occurrence frequencies, with determination of medians and averages not possible. To compare retrieval systems it is thus usual to make use of a categorical-to-numeric effectiveness mapping. A previous paper has argued that any desired categorical-to-numeric mapping may be used, provided only that there is an argued connection between each category of SERP and the score that is assigned to that category by the mapping. Further, once that plausible connection has been established, then the mapped values can be treated as real-valued observations on a ratio scale, allowing the computation of averages. This article is written in support of that point of view, and to respond to ongoing claims that SERP scores may only be averaged if very restrictive conditions are imposed on the effectiveness mapping.

研究の動機と目的

• SERPs はカテゴリデータであり、直接平均化できないと主張する。
• カテゴリから数値への有効性写像（例：RR）の利用を、ユーザー利益の妥当な表現として提案・擁護する。
• 写像されたスコアの平均化が意味を持ち、SERP 自体の平均化と同等ではないことを示す。
• 有効性写像の文脈における区間尺度と等間隔表現の区別を明確にする。

提案手法

• mappings された数値スコアから平均値（支点）がどのように導かれるかを示すために、物理的な天秤棒の類推を提示する。
• ユーザー行動を反映する合理的なカテゴリから数値への写像なら、等間隔点でなくても、平均化に適用可能な正当な数値スケールを生み出すと主張する。
• RR を他の写像（Precision@k、NDCG、RBP）と対比し、スコアリングの違いを示す一方で、写像スコアの平均化の妥当性には差がないことを示す。
• 区間尺度の制約（式1）と実務的な等間隔解釈を区別し、差の比が保持される限り目盛りの配置を柔軟にできると主張する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー行動に動機づけられることを前提とする SERP 評価に用いられる任意のカテゴリから数値への写像は、正当に平均化できるのか。
• RQ2 区間尺度の制約は RR のような有効性写像の平均化の使用を過度に制限するのか。
• RQ3 異なる写像（RR、Prec、NDCG、RBP）が、解釈を保持したまま順序付けと平均化の挙動においてどのように比較されるのか。
• RQ4 写像されたスコアの平均化と SERP 自体の平均化の適切な解釈は何か。

主な発見

• SERP はカテゴリデータであり、生の SERP の平均化は適切ではない。
• 写像された有効性スコアは正当に平均化できる。これはユーザーモデルを反映しており、SERP 自体の平均化ではない。
• 異なる写像は異なる順序付けと平均値を生じさせるが、いずれも妥当なユーザー行動に基づく場合は有効であり得る。
• 区間尺度の硬直性（前の研究の一部に基づく）は不要であり、差の比が保たれる限り等間隔の目盛りを推測・操作できる。
• 有効性写像には通常、明確なゼロ点があるため、スコアは純粋な区間尺度データというより比尺度データである。