[논문 리뷰] Meta Dynamic Pricing: Learning Across Experiments

Hamsa Bastani, David Simchi‐Levi외 1명|arXiv (Cornell University)|2019. 02. 28.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 실시간으로 다수의 관련 제품의 수요 파ameter에 대한 공유 사전 분포를 학습하는 메타 동적 가격 설정 알고리즘을 제안한다. 이 알고리즘은 불확실성 인식 사전 확장 기법을 적용한 온라인 톰슨 샘플링을 사용하며, N에 대해 비선형 메타-손실을 달성한다. 실험 환경이 풍부한 상황에서 메타-탐색과 메타-이용의 균형을 맞추어 학습 속도를 크게 향상시킨다.

ABSTRACT

We study the problem of learning shared structure \emph{across} a sequence of dynamic pricing experiments for related products. We consider a practical formulation where the unknown demand parameters for each product come from an unknown distribution (prior) that is shared across products. We then propose a meta dynamic pricing algorithm that learns this prior online while solving a sequence of Thompson sampling pricing experiments (each with horizon $T$) for $N$ different products. Our algorithm addresses two challenges: (i) balancing the need to learn the prior (\emph{meta-exploration}) with the need to leverage the estimated prior to achieve good performance (\emph{meta-exploitation}), and (ii) accounting for uncertainty in the estimated prior by appropriately widening the prior as a function of its estimation error, thereby ensuring convergence of each price experiment. Unlike prior-independent approaches, our algorithm's meta regret grows sublinearly in $N$; an immediate consequence of our analysis is that the price of an unknown prior in Thompson sampling is negligible in experiment-rich environments with shared structure (large $N$). Numerical experiments on synthetic and real auto loan data demonstrate that our algorithm significantly speeds up learning compared to prior-independent algorithms or a naive approach of greedily using the updated prior across products.

연구 동기 및 목표

• 관련 제품에 대한 동적 가격 설정 실험 시퀀스에서 공유 수요 파ameter 구조를 학습하는 데 도전 과제를 해결하기 위해.
• 공유 사전 분포를 학습하는 메타-탐색과 그 사전을 활용해 가격 설정 성능을 향상시키는 메타-이용을 체계적으로 균형 잡기 위해.
• 공유 사전 분포의 추정 오차를 고려하여 개별 가격 설정 실험의 수렴을 보장하기 위해 적응형 사전 확장 기법을 도입하기 위해.
• 공유된 구조를 활용할 경우, 대규모 N, 실험 환경이 풍부한 상황에서 알려지지 않은 사전 분포의 비용이 점점 작아짐을 입증하기 위해.

제안 방법

• N개의 관련 제품 각각에 대해 시간 간격 T를 가진 순차적 톰슨 샘플링 실험을 수행하는 메타 동적 가격 설정 알고리즘을 제안한다.
• 온라인 학습 기법을 사용하여 제품 간 수요 파ameter에 대한 공유 사전 분포를 추정한다.
• 추정 오차 기반으로 사전 분포를 넓히는 메커니즘을 도입하여, 공유 사전 분포의 불확실성에도 불구하고 개별 가격 설정 실험의 수렴을 보장한다.
• 추정된 사전 분포의 불확실성에 기반해 탐색을 동적으로 조정하여 메타-탐색과 메타-이용을 균형 잡는다.
• 공유 사전 분포가 새로운 가격 설정 실험 결과가 도착함에 따라 점진적으로 갱신되는 계층 베이지안 프레임워크를 사용한다.
• 메타-손실이 N에 대해 비선형임을 보여주는 분석을 통해, 사전 불확실성으로 인한 성능 손실이 N이 증가함에 따라 점차 감소함을 입증한다.

실험 결과

연구 질문

• RQ1 여러 동적 가격 설정 실험 간의 공유 구조를 어떻게 활용하여 학습 효율을 향상시킬 수 있는가?
• RQ2 공유 사전 분포를 학습하기 위해 탐색하는 것과 그 사전을 활용해 가격 설정 성능을 향상시키는 것 사이의 트레이드오프는 무엇인가?
• RQ3 추정된 공유 사전 분포의 불확실성을 어떻게 정량화하고 보정하여 개별 가격 설정 실험의 수렴을 보장할 수 있는가?
• RQ4 대규모, 실험 환경이 풍부한 상황에서 사전 불확실성은 전체 성능에 어떤 영향을 미치는가?
• RQ5 초기 사전 분포가 알려지지 않은 상태에서 메타-학습 접근법이 N에 대해 비선형 메타-손실을 달성할 수 있는가?

주요 결과

• 제안된 메타 동적 가격 설정 알고리즘은 N에 대해 비선형 메타-손실을 달성하여, 제품 수가 증가할수록 사전 불확실성의 비용이 점차 감소함을 나타낸다.
• 실제 자동차 대출 데이터와 시뮬레이션 데이터에서, 이전 독립 기반 방법과 단순한 업데이트된 사전 분포를 무작정 사용하는 그리디 접근법에 비해 알고리즘이 학습 속도를 크게 향상시킨다.
• 추정 오차 기반 적응형 사전 확장 기법은 공유 사전 분포의 불확실성에도 불구하고 각 개별 가격 설정 실험의 수렴을 보장한다.
• 공유 수요 구조가 존재하는 실험 환경이 풍부한 상황에서는 알려지지 않은 사전 분포의 비용이 무시할 수 없을 정도로 작아진다.
• 수치 실험 결과는 알고리즘이 학습 속도와 성능 측면에서 모두 이전 독립 기반 기준선과 그리디 접근법을 능가함을 확인한다.