[논문 리뷰] It's Time to Consider "Time" when Evaluating Recommender-System Algorithms [Proposal]

Joeran Beel|arXiv (Cornell University)|2017. 01. 01.

Recommender Systems and Techniques참고 문헌 23인용 수 2

한 줄 요약

이 논문은 추천 시스템에서 단일 수치 평가 지표를 시간 간격(예: 매주 또는 매달)으로 계산된 시계열 지표로 대체할 것을 제안한다. 정밀도나 MAE와 같은 지표를 시간에 따라 그림으로 그려보면 알고리즘의 효과성이 어떻게 변화하는지 추적할 수 있으며, 이는 성능 향상 예측을 향상시키고, 정적 평균치에 의해 속일 수 있는 오해를 피하는 데 기여한다.

ABSTRACT

In this position paper, we question the current practice of calculating evaluation metrics for recommender systems as single numbers (e.g. precision p=.28 or mean absolute error MAE = 1.21). We argue that single numbers express only average effectiveness over a usually rather long period (e.g. a year or even longer), which provides only a vague and static view of the data. We propose that recommender-system researchers should instead calculate metrics for time-series such as weeks or months, and plot the results in e.g. a line chart. This way, results show how algorithms' effectiveness develops over time, and hence the results allow drawing more meaningful conclusions about how an algorithm will perform in the future. In this paper, we explain our reasoning, provide an example to illustrate our reasoning and present suggestions for what the community should do next.

연구 동기 및 목표

• 시간에 따라 변화하는 성능 역동성을 가림으로써 단일 수치 평가 지표(예: 정밀도 = 0.38)를 사용하는 일반적인 관행에 도전한다.
• 실제 시스템에서 사용자 및 아이템 수가 변화하는 상황에서, 정적 지표가 알고리즘 효과성이 시간에 따라 어떻게 변화하는지를 포괄하지 못하는 한계를 부각한다.
• 현재의 평가 관행은 성능이 안정적이라는 과도하게 단순화된 가정을 이끌어내며, 이는 실제 행동과 다를 수 있음을 주장한다.
• 보다 나은 알고리즘 선택과 향후 성능 예측을 지원하기 위해 연구 관행을 시간 인식 평가로 전환할 것을 주장한다.
• 재현성, 투명성, 실용적 관련성을 향상시키기 위해 공동체 차원에서 시계열 지표를 도입할 것을 촉구한다.

제안 방법

• 데이터 수집 기간 동안 정의된 시간 간격(예: 매월 또는 매주) 별로 표준 평가 지표(예: 정밀도, MAE, nDCG)를 별도로 계산한다.
• 선형 차트를 사용해 각 알고리즘의 성능 변화를 시각화하여 추세 탐지 및 비교를 가능하게 한다.
• 시간 순서 기반 교차 검증 기법을 사용하여 학습 및 테스트를 순차적인 시간 간격(예: 1~6개월 학습, 7~12개월 테스트)으로 수행함으로써 실제 배포 환경을 시뮬레이션한다.
• 명확성과 일관성을 높이기 위해 시계열 지표를 표준화한 표기법을 제안한다. 예를 들어, p@m5는 다섯 번째 달의 정밀도를 의미한다.
• 공간 제약이 있는 논문에서 사용할 수 있는 대안적 압축 표현 방식을 제안한다. 예를 들어, 최소값, 최대값, 평균, 표준편차 또는 추세 함수를 시간 간격 전체에 대해 보고할 수 있다.
• 기존 데이터셋(예: MovieLens, RARD, Docear)을 활용해 알고리즘 효과성이 시간에 따라 유의미하게 변하는지 실증적으로 분석할 것을 권장한다.

실험 결과

연구 질문

• RQ1 실제 또는 장기 데이터셋에서 평가할 경우, 추천 시스템 알고리즘의 효과성이 시간에 따라 얼마나 변화하는가?
• RQ2 단일 수치 지표와 비교했을 때, 시계열 평가가 알고리즘 우월성에 대해 다른 결론을 이끌어내는 빈도는 어느 정도인가?
• RQ3 특히 공간 제약이 있는 학술 논문에서 시계열 평가 결과를 효과적으로 표현하는 가장 좋은 방법은 무엇인가?
• RQ4 최상위 학술 컨ferences에서 현재 추천 시스템 평가의 몇 퍼센트가 시간 분해 없이 단일 수치 지표에 의존하고 있는가?
• RQ5 공동체 수준에서 일관성 있고 재현 가능하며 의미 있는 시계열 평가를 가능하게 하기 위해 필요한 표기 및 방법론 표준은 무엇인가?

주요 결과

• 정밀도나 MAE와 같은 단일 수치 지표는 장기간(예: MovieLens 20M의 경우 10년) 동안 평균 성능을 나타내며, 알고리즘 효과성의 시간적 변동성을 가리기 때문에 성능의 진동을 가림.
• Mendeley나 Docear와 같은 시스템의 실증적 증거는 알고리즘 효과성이 시간에 따라 크게 증가할 수 있음을 보여주며, 예를 들어 6개월 만에 정밀도가 0.025에서 0.4로 상승한 바 있다. 이는 비정상성(Non-stationarity)을 나타낸다.
• Movielens 1m 데이터셋 분석 결과, 알고리즘 효과성이 시간에 따라 변동하며, 일부 알고리즘은 강한 시간적 추세를 보였지만, 단일 수치 결과와 비교했을 때 순위가 바뀌지 않는 경우도 있었다.
• Movielens에서 '가장 인기 있는' 백본 알고리즘이 시간이 지남에 따라 랜덤 백본에 수렴하는 것으로 나타나, 정적 지표에 의존할 경우 위험한 결과를 초래할 수 있음을 시사한다.
• 시간 인식 평가를 통해 정밀도 감소나 오차 증가와 같은 중요한 성능 변화를 폭로할 수 있으며, 이는 집계된 지표에서는 감춰져 있다.
• 공동체 내에서 표준화된 시계열 평가 관행이 부족하며, 시간 역동성에 대한 증거가 증가하고 있음에도 불구하고 대부분의 연구가 여전히 단일 수치 요약에 의존하고 있다.