[논문 리뷰] Open Bandit Dataset and Pipeline: Towards Realistic and Reproducible Off-Policy Evaluation

Yuta Saito, Shunsuke Aihara외 2명|arXiv (Cornell University)|2020. 08. 17.

Advanced Bandit Algorithms Research인용 수 16

한 줄 요약

이 논문은 실생활에서의 재현 가능하고 현실적인 오퍼리서치 평가(OPE)를 위한 공개 벤치마크 데이터셋과 표준화된 소프트웨어 프레임워크인 Open Bandit Dataset 및 Open Bandit Pipeline을 소개한다. 이 데이터셋은 ZOZOTOWN 패션 전자상거래 플랫폼에서 수행된 실제 A/B 테스트에서 유래한 두 가지 로그 기반 밴딧 데이터셋으로 구성되어 있으며, OPE 추정기 간 직접 비교를 가능하게 한다. 주요 기여는 실제 OPE에서 발생하는 핵심 과제(예: 분포 이탈, 추정기 편향)를 드러내는 재현 가능한 실험 파이프라인을 제공하는 것이다.

ABSTRACT

Off-policy evaluation (OPE) aims to estimate the performance of hypothetical policies using data generated by a different policy. Because of its huge potential impact in practice, there has been growing research interest in this field. There is, however, no real-world public dataset that enables the evaluation of OPE, making its experimental studies unrealistic and irreproducible. With the goal of enabling realistic and reproducible OPE research, we present Open Bandit Dataset, a public logged bandit dataset collected on a large-scale fashion e-commerce platform, ZOZOTOWN. Our dataset is unique in that it contains a set of multiple logged bandit datasets collected by running different policies on the same platform. This enables experimental comparisons of different OPE estimators for the first time. We also develop Python software called Open Bandit Pipeline to streamline and standardize the implementation of batch bandit algorithms and OPE. Our open data and software will contribute to fair and transparent OPE research and help the community identify fruitful research directions. We provide extensive benchmark experiments of existing OPE estimators using our dataset and software. The results open up essential challenges and new avenues for future OPE research.

연구 동기 및 목표

• 오퍼리서치 평가(OPE)를 위한 공개적이고 실생활 데이터셋의 부족으로 인해 밴딧 연구에서 재현 가능성과 현실적인 벤치마킹이 저해되는 문제를 해결하기 위해.
• 표준화된 실험 파이프라인을 제공하여 OPE 추정기 간 공정하고 투명한 비교를 가능하게 하기 위해.
• 실제 로그 기반 밴딧 데이터를 기반으로 한 종합적인 벤치마킹을 통해 실생활 시스템에 OPE를 적용할 때 발생하는 실용적 과제를 규명하기 위해.
• 합성 시뮬레이션과 실생활 구현 사이의 격차를 해소하기 위해 실시간 전자상거래 플랫폼에서 수집한 생산 규모의 데이터셋을 제공하기 위해.
• 오픈소스 소프트웨어와 표준화된 평가 절차를 통해 OPE 연구의 방법론적 엄밀성과 투명성을 향상시키기 위해.

제안 방법

• Open Bandit Dataset는 ZOZOTOWN 패션 전자상거래 플랫폼에서 실시된 A/B 테스트 기간 동안 운영된 두 가지 다른 로그 기반 밴딧 정책(베르누이 스위프팅 샘플링 및 균일한 랜덤 정책)에서 유래한다.
• 이 데이터셋은 각 상호작용에 대한 컨텍스트, 액션, 보상, 적률 점수 정보를 포함하며, 역행성 정책 평가를 가능하게 한다.
• Open Bandit Pipeline은 데이터 전처리, 정책 학습, OPE 추정기 평가를 포함한 전체 OPE 파이프라인을 표준화하는 파이썬 소프트웨어 프레임워크이다.
• 이 프레임워크는 여러 OPE 추정기(예: IPW, DR)를 지원하며, 정책 학습을 위해 scikit-learn과 PyTorch와 통합된다.
• 파이프라인은 한 정책의 정책 가치를 다른 정책의 데이터를 사용하여 추정함으로써 엔드 투 엔드 평가를 가능하게 하며, 정책 가치의 진정된 성능은 온정책 평가를 통해 계산된다.
• 벤치마크 실험은 OPE 추정기의 예측값을 온정책 데이터로부터 유도된 진정된 정책 가치와 비교하여 제곱오차를 주요 지표로 사용한다.

실험 결과

연구 질문

• RQ1 기존의 OPE 추정기는 합성 환경과 비교해 실생활 밴딧 환경에서 어떻게 성능을 발휘하는가?
• RQ2 분포 이탈과 적률 점수 추정 등 실생활 로그 기반 밴딧 데이터에 OPE를 적용할 때의 주요 과제는 무엇인가?
• RQ3 표준화된 소프트웨어 파이프라인은 OPE 연구의 재현 가능성과 공정성 향상에 기여할 수 있는가?
• RQ4 다양한 실생활 데이터 분포와 정책 행동에 따라 추정기 성능은 어떻게 변하는가?
• RQ5 생산 규모의 전자상거래 데이터에 적용되었을 때 현재 OPE 방법의 한계는 무엇인가?

주요 결과

• Open Bandit Dataset는 실시간 전자상거래 플랫폼에서 유래한 실생활 데이터를 사용하여 OPE 추정기 간 직접적이고 공정한 비교를 가능하게 한다.
• IPW 추정기는 합성 데이터에서 제곱오차 0.00267, 다중분류 데이터에서 0.01827을 기록하여 현실적인 환경에서의 성능 저하를 드러냈다.
• 실생활 데이터에서는 합성 시뮬레이션에 비해 추정기의 편향과 분산이 상당히 높아 현실성의 격차가 있음을 시사한다.
• 벤치마크 결과는 많은 OPE 추정기가 특히 분포 이탈 상황에서 다양한 정책 행동 간 일반화 능력이 떨어지는 것으로 나타났다.
• 이 연구는 데이터 품질, 적률 점수 추정, 정책 행동 불일치가 실생활 OPE 응용에서의 핵심 장애물임을 규명했다.
• Open Bandit Pipeline은 일관되고 재현 가능한 OPE 실험을 가능하게 하여 구현 변동성을 줄이고 연구의 투명성을 향상시켰다.