[논문 리뷰] Do Offline Metrics Predict Online Performance in Recommender Systems?

Karl Krauth, Sarah Dean외 5명|arXiv (Cornell University)|2020. 11. 07.

Advanced Bandit Algorithms Research참고 문헌 39인용 수 11

한 줄 요약

이 논문은 추천 시스템에서 오프라인 메트릭이 실제 온라인 성능을 예측할 수 있는지 여부를 분석하기 위해 6개의 제어된 환경에서 11개의 추천 모델을 시뮬레이션하였다. 오프라인 메트릭이 온라인 성능과 상관이 있음이 확인되었지만, 성능 향상의 효과는 점점 감소하며, 추천 모델의 순위는 초깃값 오프라인 데이터 가용성과 탐색 전략에 크게 의존함을 발견하였다.

ABSTRACT

Recommender systems operate in an inherently dynamical setting. Past recommendations influence future behavior, including which data points are observed and how user preferences change. However, experimenting in production systems with real user dynamics is often infeasible, and existing simulation-based approaches have limited scale. As a result, many state-of-the-art algorithms are designed to solve supervised learning problems, and progress is judged only by offline metrics. In this work we investigate the extent to which offline metrics predict online performance by evaluating eleven recommenders across six controlled simulated environments. We observe that offline metrics are correlated with online performance over a range of environments. However, improvements in offline metrics lead to diminishing returns in online performance. Furthermore, we observe that the ranking of recommenders varies depending on the amount of initial offline data available. We study the impact of adding exploration strategies, and observe that their effectiveness, when compared to greedy recommendation, is highly dependent on the recommendation algorithm. We provide the environments and recommenders described in this paper as Reclab: an extensible ready-to-use simulation framework at https://github.com/berkeley-reclab/RecLab.

연구 동기 및 목표

• 추천 시스템에서 오프라인 메트릭의 온라인 성능 예측 능력을 평가하기 위해.
• 피드백 루프, 사용자 동적 변화, 탐색 전략이 오프라인 및 온라인 메트릭 간 상관관계에 미치는 영향을 조사하기 위해.
• 초기 오프라인 데이터 가용성이 추천 모델 순위와 성능에 미치는 영향을 검토하기 위해.
• 다양한 알고리즘 유형에서 이른바 그레디 추천 대비 탐색 전략의 효과성을 평가하기 위해.
• 향후 추천 동적 현상 연구를 위한 재현 가능하고 확장 가능한 시뮬레이션 프레임워크(RecLab) 제공하기 위해.

제안 방법

• 피드백 영향을 분리하기 위해 사용자 동적 변화, 아이템 인기도, 데이터 가용성 등이 다른 6개의 제어된 환경을 시뮬레이션하였다.
• 기본 모델, 이웃 기반, 커널, 선형, 인수분해, 신경망 모델을 포함한 11종의 다양한 추천 모델을 평가하였다.
• 모델 성능 평가를 위해 훈련, 검증, 테스트 분할에 표준 오프라인 메트릭(RMSE 및 nDCG)을 사용하였다.
• 동적 시뮬레이션 환경에서 사용자 평가, 커버리지, 다양성 메트릭을 통해 온라인 성능을 측정하였다.
• 에psilon-그레디 등 탐색 전략을 적용하고, 그 영향을 그레디 추천과 비교하였다.
• 재현 가능성과 확장성을 위해 시뮬레이션 프레임워크 RecLab를 오픈소스 도구로 공개하였다.

실험 결과

연구 질문

• RQ1 RMSE 및 nDCG와 같은 오프라인 메트릭이 동적 추천 시스템에서 온라인 성능을 얼마나 잘 예측할 수 있는가?
• RQ2 피드백 효과와 사용자 동적 변화가 오프라인 및 온라인 성능 간 관계에 어떻게 영향을 미치는가?
• RQ3 시뮬레이션에서 사용 가능한 초깃값 오프라인 데이터의 양이 추천 모델 순위에 영향을 미치는가?
• RQ4 탐색 전략은 그레디 추천 대비 얼마나 효과적인가? 이 효과성은 알고리즘 유형에 따라 달라지는가?
• RQ5 커버리지 및 다양성 메트릭은 다양한 시뮬레이션 환경에서 성능과 어떻게 상관관계를 가지는가?

주요 결과

• RMSE 및 nDCG와 같은 오프라인 메트릭은 여러 시뮬레이션 환경에서 온라인 성능과 유의미한 상관관계를 보였다.
• 오프라인 메트릭 향상은 온라인 성능 향상에 점점 감소하는 효과를 보이며, 정확도 향상이 점점 더 작은 실제 이점을 가져옴을 시사한다.
• 추천 모델 간 순위는 초깃값 오프라인 데이터의 양에 따라 달라지며, 이는 데이터 가용성이 모델 성능 비교에 중대한 영향을 미친다는 것을 시사한다.
• 탐색 전략은 그레디 추천 대비 온라인 성능 향상을 이끌지만, 그 효과는 기반 추천 알고리즘에 크게 의존한다.
• 커버리지 및 다양성 메트릭은 환경에 따라 상관관계가 달라지며, 주제 정적 환경에서는 긍정적인 상관관계를 보였지만, 잠재적 정적 환경에서는 약한 상관관계를 보였으며, 이는 아이템 편향 효과 때문일 가능성이 높다.
• 시뮬레이션 프레임워크 RecLab는 제어된, 재현 가능한 추천 동적 평가를 가능하게 하며, 오프라인 전용 또는 실제 온라인 평가에서는 관찰되지 않는 현상을 드러낸다.