[论文解读] Hit ratio: An Evaluation Metric for Hashtag Recommendation

Areej Alsini, Du Q. Huynh+1 more|arXiv (Cornell University)|Oct 3, 2020

Topic Modeling参考文献 18被引用 10

一句话总结

本文提出命中率（hit ratio）作为更可靠的标签推荐系统评估指标，解决了传统指标（如精确率、召回率和F1分数）在每条推文的真值标签数量不一致时的局限性。与仅检查是否存在正确推荐的命中率不同，命中率计算的是正确预测标签数与真值标签总数的比率，从而在不同长度的真值标签下提供一致且细致的性能评估，尤其在部分正确的情况下表现更优。

ABSTRACT

Hashtag recommendation is a crucial task, especially with an increase of interest in using social media platforms such as Twitter in the last decade. Hashtag recommendation systems automatically suggest hashtags to a user while writing a tweet. Most of the research in the area of hashtag recommendation have used classical metrics such as hit rate, precision, recall, and F1-score to measure the accuracy of hashtag recommendation systems. These metrics are based on the exact match of the recommended hashtags with their corresponding ground truth. However, it is not clear how adequate these metrics to evaluate hashtag recommendation. The research question that we are interested in seeking an answer is: are these metrics adequate for evaluating hashtag recommendation systems when the numbers of ground truth hashtags in tweets are highly variable? In this paper, we propose a new metric which we call hit ratio for hashtag recommendation. Extensive evaluation through hypothetical examples and real-world application across a range of hashtag recommendation models indicate that the hit ratio is a useful metric. A comparison of hit ratio with the classical evaluation metrics reveals their limitations.

研究动机与目标

• 为解决传统指标（如精确率、召回率和F1分数）在每条推文的真值标签数量不一致时评估标签推荐系统存在不足的问题。
• 探究当真值标签数量显著变化时，常用指标命中率是否足以评估标签推荐。
• 提出并验证一种新评估指标——命中率，该指标以更均衡且一致的方式同时考虑真值标签数量与正确预测数量。
• 通过假设示例与真实世界案例证明，命中率在多标签、可变长度的标签推荐任务中，相较于传统指标能提供更可靠且可解释的性能评分。

提出的方法

• 提出命中率作为新评估指标，定义为单条推文中正确预测标签数与真值标签总数的比率。
• 采用基于标签的评估方法，将每个标签视为二元标签，根据推荐标签与真值标签之间的重叠情况，按每个测试样本计算命中率。
• 在多个标签推荐模型上应用命中率指标，并使用真实世界Twitter数据集与传统指标进行结果对比。
• 利用真值标签数与推荐标签数不同的假设示例，说明命中率相较于命中率或F1分数更能一致地捕捉部分正确性。
• 分析可变k值（top-k推荐）与真值长度nG对指标行为的影响，特别指出当k增加而nG固定时，命中率保持稳定。
• 使用真实推文（top-3、top-5、top-10推荐）验证该指标，结果表明命中率比精确率、召回率或F1分数更准确地反映部分正确性。

实验结果

研究问题

• RQ1 当每条推文的真值标签数量显著变化时，传统命中率指标是否足以评估标签推荐系统？
• RQ2 当真值标签数量与推荐标签数量在不同推文中不一致时，精确率、召回率和F1分数等经典指标表现如何？
• RQ3 能否设计一种新评估指标，更好地反映部分正确性并处理标签推荐任务中可变长度的真值？
• RQ4 与现有指标相比，所提出的命中率指标在一致性与对部分匹配的敏感性方面表现如何？

主要发现

• 命中率始终能反映推荐结果的正确程度，即使仅部分真值标签被正确预测，而命中率则将所有部分匹配视为等同，导致评估结果失真。
• 在部分正确的情况下（如4个真值标签中仅推荐2个），命中率能正确反映正确匹配的比例（如0.5），而命中率仍记为1.0，造成误导性性能评估。
• 当预测的正确标签数量相同但真值标签总数或推荐标签总数不同时，精确率、召回率和F1分数会产生不一致的评分，显示出其对标签数量变化的高度敏感性。
• 在相同正确预测数量下，精确率与召回率在不同nG与nR值的样本中可能显著差异，表明这些指标在不同长度推文间比较模型时不可靠。
• 命中率对实际正确匹配数量更敏感，相较于命中率，其性能度量更可解释且更稳定，尤其在k > nG时表现更优。
• 命中率在处理真实世界标签数量的可变性方面优于经典指标，使其成为具有可变长度真值的标签推荐系统更合适的评估指标。