[논문 리뷰] Large-scale Open Dataset, Pipeline, and Benchmark for Bandit Algorithms

Yuta Saito, Shunsuke Aihara외 2명|arXiv (Cornell University)|2020. 08. 17.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 4

한 줄 요약

이 논문은 ZOZOTOWN의 전자상거래 플랫폼에서 유래한 대규모 실세계 데이터셋과 오픈소스 툴킷인 Open Bandit Dataset 및 Open Bandit Pipeline을 소개한다. 이는 밴디트 알고리즘과 오프-정책 평가(OPE) 추정기의 재현 가능하고 대규모 평가를 가능하게 하도록 설계되었으며, 다양한 밴디트 정책의 참값 성능을 포함하고 있어 OPE 방법의 공정한 벤치마킹과未래 연구를 위한 핵심 과제를 드러낸다.

ABSTRACT

We build and publicize the Open Bandit Dataset to facilitate scalable and reproducible research on bandit algorithms. It is especially suitable for off-policy evaluation (OPE), which attempts to estimate the performance of hypothetical policies using data generated by a different policy.We construct the dataset based on experiments and implementations on a large-scale fashion e-commerce platform, ZOZOTOWN. The data contain the ground-truth about the performance of several bandit policies and enable fair comparisons of different OPE estimators. We also build a Python package called the Open Bandit Pipeline to streamline implementations of bandit algorithms and OPE estimators. Our open data and pipeline will allow researchers and practitioners to easily evaluate and compare their bandit algorithms and OPE estimators with others in a large, real-world setting. Using our data and pipeline, we provide extensive benchmark experiments of existing OPE estimators. Our experiments open up essential challenges and new avenues for future OPE research. Our pipeline and example data are available at this https URL You can follow the updates of the whole project at this https URL

연구 동기 및 목표

• 밴디트 알고리즘과 오프-정책 평가(OPE) 방법을 평가하기 위한 대규모 실세계 데이터셋의 부족을 해결하기 위해.
• 알려진 참값 정책 성능을 가진 실세계 데이터를 사용하여 OPE 추정기의 공정하고 재현 가능한 벤치마킹을 가능하게 하기 위해.
• 표준화된 오픈소스 파이프라인을 제공하여 연구자와 실무자들이 밴디트 알고리즘과 OPE 추정기를 구현하고 테스트하는 데 있어 장벽을 낮추기 위해.
• 실세계 데이터에 대한 광범위한 벤치마킹을 통해 기존 OPE 방법의 실용적 과제와 한계를 드러내기 위해.

제안 방법

• 데이터셋은 대규모 패션 전자상거래 플랫폼인 ZOZOTOWN에서의 실제 실험과 프로덕션 로그에서 유래되었으며, 사용자 상호작용과 정책 결정을 포괄한다.
• 데이터셋에는 여러 밴디트 정책과의 로그된 상호작용뿐 아니라 각 정책의 참값 성능 지표도 포함되어 있어 정확한 OPE 평가를 가능하게 한다.
• 재현 가능성과 사용 편의성을 보장하기 위해 밴디트 알고리즘과 OPE 추정기의 표준화된 구현을 위한 파이썬 패키지인 Open Bandit Pipeline을 개발하였다.
• 파이프라인은 데이터 로딩, 정책 평가, OPE 추정기 벤치마킹을 지원하여 종단 간 실험을 간소화한다.
• 데이터셋과 파이프라인은 투명성, 재현 가능성, 커뮤니티 기반 연구를 촉진하기 위해 공개되었다.

실험 결과

연구 질문

• RQ1 알려진 참값 정책 성능을 가진 대규모 실세계 전자상거래 환경에서 기존 OPE 추정기는 어떤 성능을 보이는가?
• RQ2 실세계 데이터에 복잡한 사용자 행동이 존재할 때 OPE 추정기의 주요 실패 유형과 편향은 무엇인가?
• RQ3 실세계 환경에서 다양한 유형의 밴디트 정책과 데이터 분포에 따라 OPE 추정기의 성능는 어떻게 변화하는가?
• RQ4 실세계 데이터에 OPE를 적용할 때 나타나는 실용적 과제는 무엇이며, 향후 방법은 이를 어떻게 개선할 수 있는가?

주요 결과

• Open Bandit Dataset는 몇몇 OPE 추정기에서 추정된 성능와 참값 성능 사이에 상당한 격차가 있음을 드러내어 실세계 환경에서의 한계를 강조한다.
• 일부 널리 사용되는 OPE 추정기는 대규모 표본 크기에도 불구하고 실세계 데이터에 적용했을 때 높은 분산과 편향을 보이기도 한다.
• 벤치마킹 결과는 어떤 상황에서도 항상 다른 추정기보다 뛰어난 성능을 보이는 단일 OPE 추정기가 존재하지 않음을 시사하며, 맥락에 따라 추정기 선택이 중요하다는 점을 시사한다.
• 데이터셋과 파이프라인은 비균일한 행동 정책과 복잡한 사용자 피드백과 같은 실용적 과제를暴露하였으며, 이는 종종 시뮬레이션 기반 벤치마크에서 간과되는 요소이다.