[論文レビュー] Evaluation Metrics for Item Recommendation under Sampling

Steffen Rendle|arXiv (Cornell University)|Dec 4, 2019

Recommender Systems and Techniques参考文献 7被引用数 12

ひとこと要約

本稿は、アイテム推薦における評価指標へのサンプリングの影響を調査し、サンプリングされた指標が正確な指標と一貫性を欠き、アルゴリズム間の相対的性能順序でさえも保存しないことを示している。特にサンプルサイズが小さい場合には、すべての指標がAUCに類似した挙動に収束し、上位順位のアイテムに注目する精度、NDCG、APといった指標の目的を損なう。

ABSTRACT

The task of item recommendation requires ranking a large catalogue of items given a context. Item recommendation algorithms are evaluated using ranking metrics that depend on the positions of relevant items. To speed up the computation of metrics, recent work often uses sampled metrics where only a smaller set of random items and the relevant items are ranked. This paper investigates sampled metrics in more detail and shows that sampled metrics are inconsistent with their exact version. Sampled metrics do not persist relative statements, e.g., 'algorithm A is better than B', not even in expectation. Moreover the smaller the sampling size, the less difference between metrics, and for very small sampling size, all metrics collapse to the AUC metric.

研究の動機と目的

• サンプル化された指標を正確な指標の代わりに使用する場合の結果を調査すること。
• サンプル化された指標が、期待値においてもアルゴリズム間の相対的性能順序を保持しているかどうかを特定すること。
• サンプリングがAUC、精度、AP、NDCGといった一般的な順位指標の特性と識別力にどのように影響するかを分析すること。
• サンプルサイズが小さい場合、すべての指標が同様に振る舞い、AUCの挙動に収束することを示し、指標固有の設計目的を損なうことを明らかにすること。
• 精度やNDCGといった鋭い指標で上位リストの性能を評価する目的がある場合、研究者がサンプル化された指標を使用すべきでないことを警告すること。

提案手法

• 標準的な順位指標（AUC、精度、AP、NDCG）を、サイズnのリストにおける唯一の関連アイテムの順位の関数として形式化する。
• 計算コストを削減するために、ランダムに選ばれた少数のアイテムと関連アイテムのみを順位付けするサンプリング機構を導入する。
• 一様サンプリング下でのサンプル化指標の期待値を分析し、期待APおよび他の指標の閉形式表現を導出する。
• 数学的分析により、m=1（1つのサンプルアイテム）の場合、すべてのサンプル化指標が真の順位rの線形関数に単一化され、順位付け行動が区別不能になることを示す。
• サンプル化指標と正確な指標を比較し、サンプル化AUCは正確なAUCと一貫しているが、他の指標はそうではないことを証明する。
• 漸近的および極限解析（例：m→1）を用いて、過剰なサンプリング下で指標の違いが消滅し、特にm=1のとき顕著になることを示す。

実験結果

リサーチクエスチョン

• RQ1 サンプル化指標は、期待値においても2つの推薦アルゴリズム間の相対的性能順序を保持するのか？
• RQ2 サンプルサイズがAUC、精度、AP、NDCGといった異なる順位指標の識別力にどのように影響するか？
• RQ3 サンプル化指標は、特に上位順位のアイテムに注目する意図を持つ正確な指標の意図された挙動からどの程度逸脱するのか？
• RQ4 すべての指標が区別不能になるサンプルサイズが存在するのか？ もし存在するならば、その極限における挙動はいかなるものか？
• RQ5 上位-k性能を評価することを目的とする場合、サンプル化指標はまだ正確な指標の有効な代理と見なせるのか？

主な発見

• サンプル化指標は正確な指標と一貫性がなく、期待値においてもアルゴリズム間の相対的性能順序を保持しない。
• 特にm=1のとき、すべてのサンプル化指標が同一に振る舞い、真の順位rの線形関数に単一化され、互いに区別不能になる。
• m=1の場合、すべてのサンプル化指標は、元の指標の意図に関係なく、正確なAUC指標と同じ定性的な順位付け結果を生じる。
• サンプルサイズが小さくなるにつれ、精度、AP、NDCGといった指標の違いが薄れ、すべての指標がAUCの挙動に収束する。
• 1つの関連アイテムが順位rにある場合のサンプル化APの期待値は、(1 - AUC^n(r)^{m+1}) / (r-1)に概ね比例する。これは、mが大きい場合にのみ正確なAPを近似する。
• 分析により、サンプル化AUCは正確なAUCと一貫しているが、他のサンプル化指標はそうではないことが示され、サンプル化指標が意図した量とは異なるものを測定していることが判明する。