[論文レビュー] Hit ratio: An Evaluation Metric for Hashtag Recommendation

Areej Alsini, Du Q. Huynh+1 more|arXiv (Cornell University)|Oct 3, 2020

Topic Modeling参考文献 18被引用数 10

ひとこと要約

本稿では、ツイートごとの正解ハッシュタグ数が異なる場合に、従来の精度、再現率、F1スコアといった指標の限界を補うために、ハッシュタグ推薦システムの評価手法として「ヒットレート」の代わりに「ヒットレート比」を提案する。ヒットレートは正しい推薦が1つでもあれば評価されるが、ヒットレート比は正しく予測されたハッシュタグ数を正解ハッシュタグ総数で割った比として定義され、変動する正解長に対する一貫性と洗練された性能評価を提供する。特に部分的正解のケースにおいて顕著な優位性を示す。

ABSTRACT

Hashtag recommendation is a crucial task, especially with an increase of interest in using social media platforms such as Twitter in the last decade. Hashtag recommendation systems automatically suggest hashtags to a user while writing a tweet. Most of the research in the area of hashtag recommendation have used classical metrics such as hit rate, precision, recall, and F1-score to measure the accuracy of hashtag recommendation systems. These metrics are based on the exact match of the recommended hashtags with their corresponding ground truth. However, it is not clear how adequate these metrics to evaluate hashtag recommendation. The research question that we are interested in seeking an answer is: are these metrics adequate for evaluating hashtag recommendation systems when the numbers of ground truth hashtags in tweets are highly variable? In this paper, we propose a new metric which we call hit ratio for hashtag recommendation. Extensive evaluation through hypothetical examples and real-world application across a range of hashtag recommendation models indicate that the hit ratio is a useful metric. A comparison of hit ratio with the classical evaluation metrics reveals their limitations.

研究の動機と目的

• ツイートごとの正解ハッシュタグ数が異なる場合に、従来の精度、再現率、F1スコアといった古典的指標が不十分であることを理由に、ハッシュタグ推薦システムの評価における課題を解決すること。
• 正解ハッシュタグ数が著しく変動する状況において、一般的に用いられる指標「ヒットレート」が、ハッシュタグ推薦の評価に十分であるかどうかを検討すること。
• 正解ハッシュタグ数と正しい予測数の両方をよりバランスの取れた方法で反映できる新しい評価指標「ヒットレート比」を提案・検証すること。
• 仮想的および実世界の例を通じて、多ラベルで長さが変動するハッシュタグ推薦タスクにおいて、古典的指標に比べてより信頼性が高く解釈可能な性能スコアを提供することを示すこと。

提案手法

• 各ツイートにおける正しく予測されたハッシュタグ数を正解ハッシュタグ総数で割った比として定義される、新しい評価指標「ヒットレート比」を提案する。
• 各ハッシュタグをバイナリラベルとみなすラベルベースの評価アプローチを採用し、推奨されたハッシュタグと正解ハッシュタグの重複に基づいて、各テストインスタンスごとにヒットレート比を計算する。
• 複数のハッシュタグ推薦モデルにわたってヒットレート比を適用し、実世界のTwitterデータセットを用いて古典的指標と結果を比較する。
• 正解ハッシュタグ数と推奨ハッシュタグ数が異なる仮想例を提示し、ヒットレート比がヒットレートやF1スコアよりも一貫して部分的正解を捉えられることを示す。
• 変動するk（上位k件の推奨）と正解長nGの影響を分析し、特にkが増加してもnGが固定されている場合にヒットレート比が安定することに注目する。
• トップ3、トップ5、トップ10の推奨結果を含む実ツイートを用いて指標を検証し、ヒットレート比が精度、再現率、F1スコアよりも部分的正解をより正確に反映していることを示す。

実験結果

リサーチクエスチョン

• RQ1 正解ハッシュタグ数が著しく変動する状況において、従来のヒットレート指標はハッシュタグ推薦システムの評価に十分か？
• RQ2 正解ハッシュタグ数や推奨ハッシュタグ数がツイートごとに異なる場合、精度、再現率、F1スコアといった古典的指標はどのように動作するか？
• RQ3 部分的正解と変動する正解長をよりよく反映できる新しい評価指標を設計可能か？
• RQ4 提案されたヒットレート比は、既存の指標と比較して、部分一致に対する一貫性と感受性において優れているか？

主な発見

• ヒットレート比は、正解ハッシュタグの一部が正しく予測された場合でも、正答度の程度を一貫して反映する。一方、ヒットレートは部分的正解をすべて同等に扱うため、誤った評価を招く。
• 例えば4つの正解ハッシュタグのうち2つを正しく予測した場合、ヒットレート比は正しく0.5を反映するが、ヒットレートは依然1.0となる。このため、性能評価が誤解を招く。
• 同じ数の正しく予測されたハッシュタグであっても、正解数（nG）や推奨数（nR）が異なる場合、精度、再現率、F1スコアは一貫性のないスコアを生じる。これは、ラベル数の変動に対する感受性を示している。
• 同じ数の正答予測であっても、nGとnRの値が異なる例では、精度と再現率が著しく異なる場合がある。これは、これらの指標が多様なツイート長を考慮したモデル比較には信頼できないことを示している。
• ヒットレート比は実際の正答数に敏感であり、特にk > nGの場合に、ヒットレート比はより解釈可能で安定した性能指標を提供する。
• 実世界のハッシュタグ数の変動を扱う上で、ヒットレート比は古典的指標を凌駕し、正解長が変動するハッシュタグ推薦システムに適した評価指標である。