[논문 리뷰] Evaluation Metrics for Item Recommendation under Sampling

Steffen Rendle|arXiv (Cornell University)|2019. 12. 04.

Recommender Systems and Techniques참고 문헌 7인용 수 12

한 줄 요약

이 논문은 항목 추천에서 샘플링이 평가 지표에 미치는 영향을 조사하며, 샘플링된 지표가 정확한 지표와 일관성이 없고, 알고리즘 간 상대적 성능 순위를 유지하지 못함을 보여준다 — 심지어 기대값에서도 마찬가지이다. 또한 작은 샘플링 크기에서는 모든 지표가 AUC 유사 행동을 보이며, 정밀도, NDCG, AP와 같이 상위 순위 항목을 강조하는 지표들이 설계한 목적을 상실함을 보여준다.

ABSTRACT

The task of item recommendation requires ranking a large catalogue of items given a context. Item recommendation algorithms are evaluated using ranking metrics that depend on the positions of relevant items. To speed up the computation of metrics, recent work often uses sampled metrics where only a smaller set of random items and the relevant items are ranked. This paper investigates sampled metrics in more detail and shows that sampled metrics are inconsistent with their exact version. Sampled metrics do not persist relative statements, e.g., 'algorithm A is better than B', not even in expectation. Moreover the smaller the sampling size, the less difference between metrics, and for very small sampling size, all metrics collapse to the AUC metric.

연구 동기 및 목표

• 샘플링된 지표를 정확한 지표 대신 사용할 경우 항목 추천 평가에 미치는 영향을 조사하는 것.
• 샘플링된 지표가 알고리즘 간 상대적 성능 순위를 기대값조차도 유지하는지 확인하는 것.
• 샘플링이 AUC, 정밀도, AP, NDCG와 같은 일반적인 순위 지표의 특성과 분별 능력에 어떻게 영향을 미치는지 분석하는 것.
• 작은 샘플링 크기에서는 모든 지표가 유사하게 행동하고 AUC 행동으로 수렴함을 보여주며, 지표별 설계 목표를 무너뜨림을 입증하는 것.
• 정밀도 또는 NDCG와 같은 날카운 지표로 상위 목록 성능을 평가하고자 할 때 샘플링된 지표 사용을 경고하는 것.

제안 방법

• 정규화된 순위 지표(AUC, 정밀도, AP, NDCG)를 크기 n인 목록에서 유일한 관련 항목의 순위 함수로 수식화한다.
• 계산 비용을 줄이기 위해 작은 수의 무작위 항목과 관련 항목만 순위를 매기는 샘플링 기법을 도입한다.
• 균일 샘플링 하에서 샘플링된 지표의 기대값을 분석하여 기대 AP 및 기타 지표에 대해 닫힌 형태의 표현식을 유도한다.
• 수학적 분석을 통해 m=1(한 개의 샘플링된 항목)일 경우, 모든 샘플링된 지표가 진짜 순위 r에 대한 선형 함수가 되며, 이는 순위 행동에서 서로 구별되지 않음을 보여준다.
• 샘플링된 지표를 정확한 지표와 비교하고, 샘플링된 AUC는 정확한 AUC와 일관성이 있음을 증명하지만, 다른 지표는 그렇지 않음을 보여준다.
• 점점 증가하는 샘플링 비율(예: m→1)에 대한 渐近적 및 극한 분석을 통해, 극심한 샘플링 하에서 지표 간 차이가 사라짐을 보여주며, 특히 m=1일 경우 더욱 두드러진다.

실험 결과

연구 질문

• RQ1 샘플링된 지표는 두 추천 알고리즘 간 상대적 성능 순서를 기대값조차도 유지하는가?
• RQ2 샘플링 크기가 AUC, 정밀도, AP, NDCG와 같은 다양한 순위 지표의 분별 능력에 어떻게 영향을 미치는가?
• RQ3 샘플링된 지표가 정확한 지표의 의도된 행동에서 얼마나 벗어나며, 특히 상위 순위 항목을 강조하는 데서 얼마나 벗어나는가?
• RQ4 모든 지표가 서로 구별되지 않는 샘플링 크기가 존재하는가? 만약 그렇다면, 그 극한에서의 행동은 어떠한가?
• RQ5 상위-k 성능 평가를 목적으로 할 때, 샘플링된 지표는 여전히 정확한 지표의 유효한 대체품으로 간주될 수 있는가?

주요 결과

• 샘플링된 지표는 정확한 지표와 일관성이 없으며, 심지어 기대값에서도 알고리즘 간 상대적 성능 순위를 유지하지 못한다.
• 작은 샘플링 크기, 특히 m=1일 경우, 모든 샘플링된 지표가 동일하게 행동하며 진짜 순위 r에 대한 선형 함수가 되어 상호 구별이 불가능해진다.
• m=1일 경우, 모든 샘플링된 지표는 원래 지표의 의도와는 무관하게 정확한 AUC 지표와 동일한 정성적 순위 결과를 산출한다.
• 샘플링 크기가 감소함에 따라 정밀도, AP, NDCG 간 차이가 줄어들며, 모든 지표가 AUC 행동으로 수렴한다.
• 단일 관련 항목이 순위 r에 있을 경우 샘플링된 AP의 기대값은 약간 (1 - AUC^n(r)^{m+1}) / (r-1) 비례함을 보여주며, 이는 큰 m에서만 정확한 AP를 근사함을 시사한다.
• 분석을 통해 샘플링된 AUC는 정확한 AUC와 일관성이 있음을 증명했지만, 다른 샘플링된 지표는 그렇지 않음을 보여주며, 이는 샘플링된 지표가 의도한 바와 다른 양상을 측정한다는 것을 의미한다.