[논문 리뷰] Open Benchmarking for Click-Through Rate Prediction

Jieming Zhu, Jinyang Liu외 3명|arXiv (Cornell University)|2020. 09. 12.

Green IT and Sustainability참고 문헌 49인용 수 4

한 줄 요약

이 논문은 Criteo와 Avazu 데이터셋에서 24개 모델에 대해 평가 프로토콜을 표준화한 CTR 예측을 위한 첫 번째 오픈 벤치마크인 BARS-CTR를 소개한다. 7,000회 이상의 실험과 12,000시간 이상의 GPU 사용 시간을 거친 결과, 철저한 초모수 튜닝 이후 모델 성능 격차는 예상보다 작다는 것이 드러났으며, 이는 CTR 연구 분야에서 재현 가능한 벤치마킹의 필요성을 강조한다.

ABSTRACT

Click-through rate (CTR) prediction is a critical task for many applications, as its accuracy has a direct impact on user experience and platform revenue. In recent years, CTR prediction has been widely studied in both academia and industry, resulting in a wide variety of CTR prediction models. Unfortunately, there is still a lack of standardized benchmarks and uniform evaluation protocols for CTR prediction research. This leads to non-reproducible or even inconsistent experimental results among existing studies, which largely limits the practical value and potential impact of their research. In this work, we build an open benchmark for CTR prediction, namely BARS-CTR, and present a rigorous comparison of different models in a reproducible manner. To this end, we ran over 7,000 experiments for more than 12,000 GPU hours in total to re-evaluate 24 existing models on multiple datasets and settings. Surprisingly, our experiments show that with sufficient hyper-parameter search and model tuning, many deep models have smaller differences than expected. The results also reveal that making real progress on the modeling of CTR prediction is indeed a very challenging research task. We believe that our benchmarking work could not only allow researchers to gauge the effectiveness of new models conveniently but also make them fairly compare with the state of the arts. We have publicly released the benchmarking code, evaluation protocols, and hyper-parameter settings of our work to promote reproducible research in this field.

연구 동기 및 목표

• CTR 예측 연구 분야에서 표준화된 평가 프로토콜과 재현 가능한 결과의 부족을 해결한다.
• 기존 CTR 모델 간 공정하고 일관된 비교를 가능하게 하기 위해 통합된 벤치마킹 프레임워크를 제공한다.
• 연구자들이 백본 모델을 다시 구현하는 데 드는 불필요한 노력을 줄이기 위해 전체 학습 설정과 결과를 공개한다.
• 다양한 데이터 분할, 전처리 방법, 초모수 설정으로 인해 이전 연구에서 발생한 일관성 부족과 재현 불가능성 문제를 드러낸다.
• 모든 실험의 코드, 초모수, 중간 자료를 공개함으로써 재현 가능한 연구를 촉진한다.

제안 방법

• CTR 예측을 위한 오픈 벤치마크 플랫폼인 BARS-CTR을 구축하여 데이터 전처리, 훈련-테스트 분할, 평가 지표를 표준화했다.
• 고정된 난수 시드를 사용한 다중 런에서 동일한 훈련 설정을 적용해 24개의 기존 CTR 모델을 재평가했다.
• 각 모델과 데이터셋 조합에 대해 베이지안 최적화를 사용해 광범위한 초모수 탐색을 수행했다.
• 다양한 데이터 분할 방식을 적용해 보다 견고한 결과를 확보하기 위해 널리 사용되는 두 가지 실제 세계 데이터셋(Criteo와 Avazu)을 사용했다.
• 수치형 특성 처리, 희귀 범주형 특성 처리, 특성 필드 정의와 같은 전처리 단계를 표준화했다.
• 모든 결과의 재현 가능성을 보장하기 위해 전체 학습 로그, 초모수 설정, 코드를 공개했다.

실험 결과

연구 질문

• RQ1 표준화되고 재현 가능한 프로토콜 하에서 평가할 경우, 기존 CTR 모델 간 성능 격차는 어느 정도인가?
• RQ2 초모수 튜닝과 일관된 데이터 전처리는 CTR 모델 간 상대 순위에 얼마나 큰 영향을 미치는가?
• RQ3 Criteo와 Avazu와 같은 널리 사용되는 데이터셋을 사용하고도 많은 이전 연구에서 일관성 없거나 재현 불가능한 결과를 보고하는 이유는 무엇인가?
• RQ4 중앙집중식이고 오픈된 벤치마크는 CTR 예측 연구 분야에서 모델 비교의 신뢰성과 공정성을 향상시킬 수 있는가?
• RQ5 철저한 튜닝과 표준화된 평가를 거친 후 최신 기술의 CTR 모델 간 진정한 성능 격차는 얼마인가?

주요 결과

• 광범위한 초모수 튜닝과 표준화된 평가를 거친 후, 많은 딥러닝 기반 CTR 모델 간 성능 격차는 이전에 보고된 것보다 크게 줄어들었다.
• 벤치마크는 이전 연구에서 일관성 없는 데이터 분할, 전처리 방법, 초모수 설정으로 인해 재현 불가능하고 오해의 소지가 있는 비교가 발생했음을 드러냈다.
• 이전 연구에서 최신 기술로 간주되던 모델들조차도 동일한 프로토콜 하에서 강력한 백본 모델에 비해 근소한 성능 향상만을 보였다.
• 결과적으로, 심층 학습 아키텍처를 사용하더라도 CTR 예측에서 의미 있는 정확도 향상 달성은 여전히 매우 도전적인 과제임을 입증했다.
• 학습 로그, 초모수, 코드의 오픈 공개로 모든 결과의 재현 가능성이 보장되었으며, 연구자들이 모델을 공정하게 검증하고 비교할 수 있게 되었다.
• 벤치마킹 작업은 12,000시간 이상의 GPU 사용 시간과 7,000회 이상의 개별 실험을 소모했으며, 이는 CTR 예측 분야에서 공정한 모델 평가의 복잡성을 입증한다.