[논문 리뷰] Hit ratio: An Evaluation Metric for Hashtag Recommendation

Areej Alsini, Du Q. Huynh외 1명|arXiv (Cornell University)|2020. 10. 03.

Topic Modeling참고 문헌 18인용 수 10

한 줄 요약

이 논문은 트윗당 기준 해시태그 수가 변할 경우 전통적인 평가 지표인 정밀도, 재현도, F1 점수의 한계를 보완하기 위해 더 신뢰할 수 있는 평가 방법으로 히트 비율 지표를 제안한다. 히트 비율은 정확히 예측된 해시태그 수를 기준 해시태그 총수로 나눈 비율을 계산하여, 다양한 길이의 기준 해시태그에 대해 일관되고 세밀한 성능 평가를 가능하게 하며, 특히 부분적으로 올바른 경우에 유의미한 평가를 제공한다. 히트 비율은 단지 하나의 정확한 추천 여부를 확인하는 히트 레이트와 달리, 정확한 예측 수와 기준 해시태그 총수를 모두 고려함으로써, 기준 해시태그 길이가 다양할 경우에도 안정적인 평가가 가능하다.

ABSTRACT

Hashtag recommendation is a crucial task, especially with an increase of interest in using social media platforms such as Twitter in the last decade. Hashtag recommendation systems automatically suggest hashtags to a user while writing a tweet. Most of the research in the area of hashtag recommendation have used classical metrics such as hit rate, precision, recall, and F1-score to measure the accuracy of hashtag recommendation systems. These metrics are based on the exact match of the recommended hashtags with their corresponding ground truth. However, it is not clear how adequate these metrics to evaluate hashtag recommendation. The research question that we are interested in seeking an answer is: are these metrics adequate for evaluating hashtag recommendation systems when the numbers of ground truth hashtags in tweets are highly variable? In this paper, we propose a new metric which we call hit ratio for hashtag recommendation. Extensive evaluation through hypothetical examples and real-world application across a range of hashtag recommendation models indicate that the hit ratio is a useful metric. A comparison of hit ratio with the classical evaluation metrics reveals their limitations.

연구 동기 및 목표

• 트윗당 기준 해시태그 수가 변할 경우 정밀도, 재현도, F1 점수와 같은 전통적 지표의 부적합성을 해결하기 위해 제안한다.
• 기준 해시태그 수가 크게 변할 경우 일반적으로 사용되는 지표인 히트 레이트가 해시태그 추천 평가에 충분한지 조사한다.
• 기준 해시태그 수와 정확한 예측 수를 더 균형 잡히고 일관되게 반영할 수 있는 새로운 평가 지표인 히트 비율을 제안하고 검증한다.
• 가상의 사례와 실제 사례를 통해, 다중 레이블, 변동 길이의 해시태그 추천 작업에서 기존 지표보다 더 신뢰도 있고 해석 가능한 성능 점수를 제공하는 히트 비율의 우수성을 입증한다.

제안 방법

• 트윗 내 기준 해시태그 총수 대비 정확히 예측된 해시태그 수의 비율로 정의되는 새로운 평가 지표인 히트 비율을 제안한다.
• 각 해시태그를 이元적 레이블로 간주하고, 추천된 해시태그와 기준 해시태그 간의 겹침을 기반으로 각 테스트 인스턴스별로 히트 비율을 계산하는 레이블 기반 평가 접근법을 사용한다.
• 실제 트위터 데이터셋을 활용해 여러 해시태그 추천 모델에 대해 히트 비율 지표를 적용하고, 기존의 전통적 지표와 결과를 비교한다.
• 기준 해시태그와 추천 해시태그 수가 다양한 가상의 사례를 제시하여, 히트 비율이 히트 레이트나 F1 점수보다 부분 정확성에 더 일관되게 반영하는 방식을 설명한다.
• 변동하는 k(상위-k 추천 수)와 기준 해시태그 길이(nG)가 지표 행동에 미치는 영향을 분석하며, 특히 k가 증가하더라도 nG가 고정되어 있을 경우 히트 비율이 안정됨을 주목한다.
• 상위-3, 상위-5, 상위-10 추천을 포함한 실제 트윗을 활용해 지표를 검증하여, 히트 비율이 정밀도, 재현도, F1 점수보다 부분 정확성 반영에 더 정확하게 반영됨을 보여준다.

실험 결과

연구 질문

• RQ1 트윗당 기준 해시태그 수가 크게 변할 경우, 기존의 히트 레이트 지표가 해시태그 추천 시스템 평가에 충분한가?
• RQ2 기준 해시태그 수와 추천 해시태그 수가 트윗 간에 다를 경우, 정밀도, 재현도, F1 점수와 같은 전통적 지표는 어떻게 성능을 보이는가?
• RQ3 부분 정확성과 변동 길이의 기준 해시태그를 더 잘 반영할 수 있는 새로운 평가 지표를 설계할 수 있는가?
• RQ4 제안된 히트 비율 지표는 기존 지표와 비교해 일관성과 부분 일치에 대한 민감도 면에서 어떻게 다른가?

주요 결과

• 히트 비율은 기준 해시태그의 일부만 정확히 예측된 경우에도 추천의 정확도 정도를 일관되게 반영한다. 반면 히트 레이트는 모든 부분 일치를 동일하게 평가하므로 잘못된 성능 평가를 유도할 수 있다.
• 예를 들어 4개의 기준 해시태그 중 2개를 정확히 추천한 경우, 히트 비율은 정확히 일치 비율(예: 0.5)을 반영하지만, 히트 레이트는 여전히 1.0으로 동일하게 평가되어 오해의 소지가 있다.
• 정밀도, 재현도, F1 점수는 동일한 수의 정확한 예측을 하더라도 기준 해시태그 총수나 추천 해시태그 총수가 다를 경우 일관되지 않은 점수를 산출하며, 이는 레이블 수의 변동성에 민감함을 보여준다.
• 동일한 수의 정확한 예측을 하더라도 nG와 nR 값이 다른 예시들 사이에서 정밀도와 재현도가 크게 다를 수 있으며, 이는 이러한 지표가 다양한 트윗 길이 간의 모델 비교에 신뢰할 수 없다는 것을 시사한다.
• 히트 비율 지표는 실제 정확한 매칭 수에 더 민감하며, 특히 k > nG일 경우 히트 레이트보다 더 이해하기 쉽고 안정적인 성능 측정을 제공한다.
• 실제 해시태그 수의 변동성을 다룰 때 히트 비율은 기존의 전통적 지표보다 뛰어난 성능을 보이며, 기준 해시태그 길이가 변동하는 해시태그 추천 시스템에 더 적합한 평가 지표로 유의미하다.