[논문 리뷰] A Large-scale Open Dataset for Bandit Algorithms

Yuta Saito, Shunsuke Aihara외 2명|arXiv (Cornell University)|2020. 08. 17.

Advanced Bandit Algorithms Research참고 문헌 50인용 수 5

한 줄 요약

이 논문은 ZOZOTOWN 패션 전자상거래 플랫폼에서의 실제 상호작용 데이터로부터 유래한 대규모 오픈 데이터셋과 표준화된 파이프라인을 소개한다. 이는 밴딧 알고리즘에서 이앙 평가(OPE)를 위한 것으로, OPE 추정기의 공정한 벤치마킹을 가능하게 하며, 잘 성능을 내는 추정기가 실제 추천 성능에서 역사적 정책을 크게 능가하는 반사적 정책을 식별할 수 있음을 보여준다.

ABSTRACT

We build and publicize the Open Bandit Dataset and Pipeline to facilitate scalable and reproducible research on bandit algorithms. They are especially suitable for off-policy evaluation (OPE), which attempts to predict the performance of hypothetical algorithms using data generated by a different algorithm. We construct the dataset based on experiments and implementations on a large-scale fashion e-commerce platform, ZOZOTOWN. The data contain the ground-truth about the performance of several bandit policies and enable the fair comparisons of different OPE estimators. We also provide a pipeline to make its implementation easy and consistent. As a proof of concept, we use the dataset and pipeline to implement and evaluate OPE estimators. First, we find that a well-established estimator fails, suggesting that it is critical to choose an appropriate estimator. We then select a well-performing estimator and use it to improve the platform's fashion item recommendation. Our analysis succeeds in finding a counterfactual policy that significantly outperforms the historical ones. Our open data and pipeline will allow researchers and practitioners to easily evaluate and compare their bandit algorithms and OPE estimators with others in a large, real-world setting.

연구 동기 및 목표

• 밴딧 알고리즘에서 이앙 평가(OPE) 추정기를 평가하기 위한 대규모 실세계 데이터셋의 부족 문제를 해결하기 위해.
• 실제 운영 전자상거래 플랫폼의 실세계 데이터를 사용하여 OPE 추정기 간의 공정하고 재현 가능한 비교를 가능하게 하기 위해.
• 밴딧 알고리즘과 OPE 방법의 일관된 구현 및 평가를 보장하는 표준화된 파이프라인을 제공하기 위해.
• 이앙 평가의 실용적 영향을 입증하기 위해 실제 추천 시스템에서 역사적 정책을 크게 능가하는 반사적 정책을 식별하기 위해.
• 연구자와 실무자가 대규모 실세계 환경에서 밴딧 알고리즘의 평가 및 향상에 기여할 수 있도록 지원하기 위해.

제안 방법

• 데이터셋은 ZOZOTOWN, 대규모 패션 전자상거래 플랫폼에 배포된 여러 밴딧 정책의 로그된 상호작용 데이터로부터 구성된다.
• 데이터셋에는 맥락 정보, 취해진 행동, 관측된 보상이 포함되어 있어, 가상의 정책에 대한 반사적 평가가 가능하다.
• 다양한 연구 환경에서 OPE 추정기의 일관된 구현 및 평가를 보장하기 위해 표준화된 파이프라인을 제공한다.
• 저자들은 데이터셋을 사용하여 여러 OPE 추정기를 평가하고, 잘 알려진 추정기들 사이의 성능 격차를 규명한다.
• 높은 성능을 보이는 OPE 추정기를 선정하여 반사적 분석을 통해 플랫폼의 패션 아이템 추천 정책을 최적화한다.
• 데이터 로딩부터 추정기 비교까지 엔드 투 엔드 평가를 지원하여 재현 가능성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 생산 전자상거래 플랫폼에서의 대규모 실세계 밴딧 데이터에 대해 어느 OPE 추정기가 안정적으로 성능을 내는가?
• RQ2 높은 성능을 내는 OPE 추정기가 실세계 추천 시스템에서 역사적 정책을 크게 능가하는 반사적 정책을 식별할 수 있는가?
• RQ3 복잡한 행동 정책을 가진 실세계 데이터에 적용했을 때 기존의 OPE 추정기 성능은 어떻게 저하되는가?
• RQ4 OPE는 온라인 A/B 테스트 없이 안전하고 대규모로 정책 개선을 가능하게 할 정도로 어느 정도 효과적인가?
• RQ5 제안된 데이터셋과 파이프라인은 밴딧 알고리즘의 일관되고 재현 가능한 평가를 어느 정도 지원하는가?

주요 결과

• 잘 알려진 OPE 추정기가 실세계 데이터셋에서 정확한 성능 추정을 제공하지 못함을 확인하여, 실무에서 추정기 선택의 중요성을 입증한다.
• 다른 성능이 뛰어난 OPE 추정기가 실제로 추천 시스템에서 역사적 정책을 크게 능가하는 반사적 정책을 성공적으로 식별함을 확인한다.
• 제안된 데이터셋과 파이프라인은 다양한 연구 환경에서 OPE 추정기의 일관되고 재현 가능한 평가를 가능하게 한다.
• OPE를 통해 발견된 반사적 정책은 추천 성능 향상에 명백한 기여를 하여, 이앙 평가의 실용적 가치를 입증한다.
• 이 데이터셋과 파이프라인은 대규모 실세계 벤치마킹을 지원하여, 밴딧 알고리즘의 공정한 비교 및 OPE 방법의 발전을 가능하게 한다.