[논문 리뷰] Meta Dynamic Pricing: Transfer Learning Across Experiments

Hamsa Bastani, David Simchi‐Levi외 1명|arXiv (Cornell University)|2019. 02. 28.

Advanced Bandit Algorithms Research참고 문헌 67인용 수 24

한 줄 요약

이 논문은 다수의 관련 가격 설정 실험 간 전이 학습을 활용하는 메타 동적 가격 설정 알고리즘을 제안한다. 이 알고리즘은 공유된 학습된 사전 분포를 사용하는 톰슨 샘플링을 기반으로 하며, 사전 분포 추정 불확실성을 고려하여 사전 분포 정렬을 통해 메타 탐색과 메타 이용을 균형 잡는다. 이로 인해 제품 수 N에 대해 하위선형 메타-손실을 달성하며, 이는 이전 독립적 접근보다 학습 속도가 크게 향상됨을 보여준다.

ABSTRACT

We study the problem of learning shared structure \emph{across} a sequence of dynamic pricing experiments for related products. We consider a practical formulation where the unknown demand parameters for each product come from an unknown distribution (prior) that is shared across products. We then propose a meta dynamic pricing algorithm that learns this prior online while solving a sequence of Thompson sampling pricing experiments (each with horizon $T$) for $N$ different products. Our algorithm addresses two challenges: (i) balancing the need to learn the prior (\emph{meta-exploration}) with the need to leverage the estimated prior to achieve good performance (\emph{meta-exploitation}), and (ii) accounting for uncertainty in the estimated prior by appropriately "widening" the estimated prior as a function of its estimation error. We introduce a novel prior alignment technique to analyze the regret of Thompson sampling with a mis-specified prior, which may be of independent interest. Unlike prior-independent approaches, our algorithm's meta regret grows sublinearly in $N$, demonstrating that the price of an unknown prior in Thompson sampling can be negligible in experiment-rich environments (large $N$). Numerical experiments on synthetic and real auto loan data demonstrate that our algorithm significantly speeds up learning compared to prior-independent algorithms.

연구 동기 및 목표

• 대규모 관련 제품군에 걸쳐 동적 가격 설정 정책을 효율적으로 학습하는 데 도전하는 것.
• 수요 매개변수에 대한 공유된 사전 분포를 학습함으로써 가격 설정 실험 간 지식을 전이하는 메타학습 프레임워크를 개발하는 것.
• 공유된 사전 분포를 학습하는 메타 탐색(메타-탐색)과 그 사전 분포를 활용해 개별 제품 성능을 향상시키는 메타 이용(메타-이용)을 균형 잡는 것.
• 공유된 사전 분포의 추정 불확실성을 고려하여 추정 오차 기반으로 사전 분포의 너비를 동적으로 넓힘으로써 이를 보완하는 것.
• 실험 환경이 풍부한 상황(큰 N)에서 알려지지 않은 사전 분포의 비용이 무시할 수 있을 정도로 작아질 수 있음을 입증하는 것.

제안 방법

• 각 개별 제품 가격 설정 실험에 대해 톰슨 샘플링을 사용하며, 실험 간 공유되는 비정보성 사전 분포를 실시간으로 학습한다.
• 사전 분포가 잘못 지정된 경우의 손실을 분석하기 위해 새로운 사전 분포 정렬 기법을 도입하여 보다 날카운 성능 경계를 확보한다.
• 공유된 사전 분포의 추정 불확실성을 고려하여 추정 오차 함수에 따라 사전 분포의 분산(너비)을 동적으로 조정함으로써 메타 탐색과 메타 이용을 균형 잡는다.
• 실제 데이터에서의 역사적 데이터를 기반으로 공유된 사전 분포의 초모수를 추정하기 위해 경험 베이즈 원리를 활용한다.
• 신규 실험이 완료됨에 따라 온라인 업데이트를 통해 전역 사전 분포의 누적 추정치를 유지함으로써 지속적인 적응을 가능하게 한다.
• 이론적 분석을 통해 메타-손실이 N에 대해 하위선형으로 증가함을 보여주며, 이는 지식 전이의 효과가 실험 수가 많아질수록 점점 더 향상됨을 시사한다.

실험 결과

연구 질문

• RQ1 관련 제품에 대한 연속적인 동적 가격 설정 실험 간에 지식을 효과적으로 전이할 수 있는가?
• RQ2 개별 실험에서의 성능을 유지하면서도 수요 매개변수에 대한 공유된 사전 분포를 실시간으로 학습할 수 있는가?
• RQ3 사전 분포의 잘못 지정이 톰슨 샘플링 성능에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 관련 실험의 수가 증가함에 따라 진짜 사전 분포를 모를 경우의 비용이 감소하는가?
• RQ5 여러 관련 제품이 있는 상황에서 메타학습 기법이 동적 가격 설정의 손실을 줄일 수 있는가?

주요 결과

• 제안된 메타 동적 가격 설정 알고리즘은 제품 수 N에 대해 하위선형 메타-손실을 달성하며, 이는 알려지지 않은 사전 분포의 비용이 대규모 N 환경에서는 무시할 수 있을 정도로 작아짐을 보여준다.
• 합성 데이터 및 실제 자동 대출 데이터를 통한 검증을 통해, 이전 독립적 톰슨 샘플링 대비 개별 제품의 학습 속도가 크게 향상됨을 입증하였다.
• 새로운 사전 분포 정렬 기법은 잘못 지정된 사전 분포를 가진 톰슨 샘플링에 대해 엄밀한 손실 분석을 가능하게 하며, 이는 별도의 이론적 관심사로도 가치가 있다.
• 추정 오차 기반으로 사전 분포의 너비를 넓히는 것은 메타 탐색과 메타 이용을 효과적으로 균형 잡아 정교함과 성능 향상을 높인다.
• 수치 실험 결과, 관련 제품 간의 공유된 구조를 활용함으로써 학습 시간을 단축시키고 수익 최적화를 향상시킴을 보여주었다.
• 이론적 결과는 메타-손실이 실험당 O(√T)로 증가하며, N에 대한 의존도가 하위선형인 것으로 확인되었으며, 이는 효과적인 지식 전이를 의미한다.