[논문 리뷰] BARS: Towards Open Benchmarking for Recommender Systems

Jieming Zhu, Quanyu Dai외 6명|arXiv (Cornell University)|2022. 05. 19.

Recommender Systems and Techniques인용 수 10

한 줄 요약

BARS는 추천 시스템 분야에서 재현 가능성을 보장하기 위해 데이터셋, 코드, 초파rameter, 로그, 평가 결과를 통합한 표준화되고 개방된 벤치마킹 파이프라인을 도입한다. 이는 최근 CTR 예측 모델에서 보고된 성능 향상의 대부분이 과장되어 있음을 드러내며, 최상위 모델들이 동일한 AUC 점수(예: Criteo_x4에서 약 81.4)를 기록함으로써 엄격하고 일관된 평가의 필요성을 강조한다.

ABSTRACT

The past two decades have witnessed the rapid development of personalized recommendation techniques. Despite significant progress made in both research and practice of recommender systems, to date, there is a lack of a widely-recognized benchmarking standard in this field. Many existing studies perform model evaluations and comparisons in an ad-hoc manner, for example, by employing their own private data splits or using different experimental settings. Such conventions not only increase the difficulty in reproducing existing studies, but also lead to inconsistent experimental results among them. This largely limits the credibility and practical value of research results in this field. To tackle these issues, we present an initiative project (namely BARS) aiming for open benchmarking for recommender systems. In comparison to some earlier attempts towards this goal, we take a further step by setting up a standardized benchmarking pipeline for reproducible research, which integrates all the details about datasets, source code, hyper-parameter settings, running logs, and evaluation results. The benchmark is designed with comprehensiveness and sustainability in mind. It covers both matching and ranking tasks, and also enables researchers to easily follow and contribute to the research in this field. This project will not only reduce the redundant efforts of researchers to re-implement or re-run existing baselines, but also drive more solid and reproducible research on recommender systems. We would like to call upon everyone to use the BARS benchmark for future evaluation, and contribute to the project through the portal at: https://openbenchmark.github.io/BARS.

연구 동기 및 목표

• 추천 시스템 연구 분야에서 표준화되고 재현 가능한 평가의 부족을 해결한다.
• 사설 데이터 분할 및 일관되지 않은 기준 모델을 포함한 비표준 평가 관행을 줄인다.
• 데이터셋, 코드, 초파라미터, 로그, 결과를 통합한 투명성을 보장하는 통합 파이프라인을 구축한다.
• 공정한 비교를 촉진하고 모델 성능 향상에 대한 과장된 주장의 감소를 도모한다.
• 장기적으로 벤치마크를 유지하고 확장하기 위해 커뮤니티 기여를 장려한다.

제안 방법

• 데이터셋, 소스 코드, 초파라미터 설정, 훈련 로그, 평가 지표를 포함한 표준화된 벤치마킹 파이프라인을 설계한다.
• Criteo, Avazu, MovieLens, AmazonBooks와 같은 다수의 실세계 데이터셋을 표준화된 전처리 및 분할 방식으로 통합한다.
• 통합 프레임워크 내에서 매칭(검색) 및 랭킹(CTR 예측) 작업을 모두 지원한다.
• 다양한 랜덤 시드를 활용해 완전한 훈련 설정과 결과를 공개함으로써 재현 가능성을 확보한다.
• 공개 포털(https://openbenchmark.github.io/BARS)을 통해 커뮤니티 접근 및 기여를 지원한다.
• 연구자들이 일관되게 모델을 재현, 튜닝, 검증할 수 있도록 도구와 가이드라인을 제공한다.

실험 결과

연구 질문

• RQ1 기존 추천 시스템 평가에서 일관되지 않은 데이터 분할 및 초파라미터 설정으로 인해 얼마나 많은 재현 가능성이 손실되고 있는가?
• RQ2 동일하고 표준화된 조건에서 최신 CTR 예측 모델들은 어떻게 상호 비교되는가?
• RQ3 최근 논문에서 보고된 성능 향상은 진정으로 유의미한가, 아니면 열악한 기준 모델 튜닝이나 실험 설계로 인해 과장된 것인가?
• RQ4 통합된 개방형 벤치마킹 파이프라인은 반복적인 구현 노력을 줄이고 연구 신뢰도를 향상시킬 수 있는가?
• RQ5 장기적인 커뮤니티 주도형 추천 시스템 벤치마크를 유지하기 위해 필요한 핵심 구성 요소는 무엇인가?

주요 결과

• DeepFM, DCN, xDeepFM, DCN-v2는 Criteo_x4 데이터셋에서 거의 동일한 AUC 점수(~81.4)를 기록하여, 주장된 성능 향상에도 불구하고 성능 차이가 미미함을 시사한다.
• PNN, HFM+, FGCNN는 Avazu_x4에서 유사한 AUC 점수(~79.44)를 기록하여, 표준화된 조건 하에서 신규 아키텍처의 성능 향상이 제한적임을 나타낸다.
• InterHAt, AFN+, LorentzFM과 같은 최근에 제안된 모델들은 기존 기준 모델에 비해 성능이 열 劣함을 보이며, 원문 논문에서의 성능 향상 주장이 과장되었을 가능성을 시사한다.
• 최상위 모델 간의 관측된 성능 차이는 종종 0.1% 미만이므로, 대규모 CTR 예측 작업에서 유의미한 성능 향상을 이끌어내는 것이 매우 어렵다는 점을 강조한다.
• 많은 논문에서 보고된 결과는 데이터 분할, 초파라미터, 또는 구현 방법에 대한 정보가 누락되어 재현이 불가능하며, 이는 연구의 신뢰도를 떨어뜨린다.
• BARS 벤치마크는 일관되고 반복 가능한 평가를 가능하게 하며, 이전 연구의 일관성 결여를 드러내어 표준화되고 개방된 벤치마킹의 필요성을 뒷받침한다.