[논문 리뷰] Dynamic Pricing with Finitely Many Unknown Valuations

Nicolò Cesa‐Bianchi, Tommaso Cesari외 1명|arXiv (Cornell University)|2018. 07. 09.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 유한한 수의 알려지지 않은 구매자 평가값을 가진 동적 가격 설정을 다루며, 수익 극대화 문제를 확률적 밴딧 문제로 모델링한다. 이때 [0,1] 내에서 K개의 평가값의 수와 위치가 모두 알려져 있지 않다. 비스스러운 경우에 대해 √T 순서의 리그레트 한계를 달성하는 알고리즘과, K=2인 분포 의존적 경우에 대해 O((log T)/Δ)의 리그레트 한계를 제안한다. K>2인 경우에 알려진 최소 수요 감소량 γ 하에서 향상된 한계를 도출한다.

ABSTRACT

Motivated by posted price auctions where buyers are grouped in an unknown number of latent types characterized by their private values for the good on sale, we investigate revenue maximization in stochastic dynamic pricing when the distribution of buyers' private values is supported on an unknown set of points in [0,1] of unknown cardinality $K$. This setting can be viewed as an instance of a stochastic $K$-armed bandit problem where the location of the arms (the $K$ unknown valuations) must be learned as well. In the distribution-free case, we prove that our setting is just as hard as $K$-armed stochastic bandits: no algorithm can achieve a regret significantly better than $\sqrt{KT}$, (where T is the time horizon); we present an efficient algorithm matching this lower bound up to logarithmic factors. In the distribution-dependent case, we show that for all $K>2$ our setting is strictly harder than $K$-armed stochastic bandits by proving that it is impossible to obtain regret bounds that grow logarithmically in time or slower. On the other hand, when a lower bound $γ>0$ on the smallest drop in the demand curve is known, we prove an upper bound on the regret of order $(1/Δ+(\log \log T)/γ^2)(K\log T)$. This is a significant improvement on previously known regret bounds for discontinuous demand curves, that are at best of order $(K^{12}/γ^8)\sqrt{T}$. When $K=2$ in the distribution-dependent case, the hardness of our setting reduces to that of a stochastic $2$-armed bandit: we prove that an upper bound of order $(\log T)/Δ$ (up to $\log\log$ factors) on the regret can be achieved with no information on the demand curve. Finally, we show a $O(\sqrt{T})$ upper bound on the regret for the setting in which the buyers' decisions are nonstochastic, and the regret is measured with respect to the best between two fixed valuations one of which is known to the seller.

연구 동기 및 목표

• 구간 [0,1] 내에서 알려지지 않은 K개의 점에서 유래한 비공개 평가값을 가진 구매자가 존재하는 환경에서의 동적 가격 설정 문제를 다루기 위해, K나 평가값에 대한 사전 지식이 없이도 적용 가능한 방법을 제시한다.
• 판매자가 평가값의 수와 위치를 모두 학습해야 하는 상황에서, 분포 자유 및 분포 의존 설정에서의 리그레트를 분석한다.
• 알려지지 않은 평가값 포인트를 탐색하고 수익성이 높은 가격을 활용하는 데 균형을 이룬 효율적인 알고리즘을 개발한다.
• 확률적 밴딧 프레임워크에서 암호화된 암호의 수와 위치를 동시에 학습하는 데서 비롯되는 어려움을 반영한 날카로운 리그레트 한계를 확립한다.

제안 방법

• 동적 가격 설정 문제를 [0,1] 내에서 알려지지 않은 평가값에 대응하는 K-암호 밴딧 문제로 수식화하며, 수익 함수 x·D(x)에서 유도된 보상을 사용한다.
• 특히 K=2이면서 하나의 평가값이 알려진 경우, 알려지지 않은 평가값을 탐색하기 위해 동적으로 조정된 탐색 동작을 사용하는 Exp3 알고리즘을 제안한다.
• Exp3에 감소된 손실 메커니즘을 도입하여, 동적으로 조정된 가격 b_t > v_1이지만 거부된 경우 손실을 과소평가함으로써 잘못된 탐색으로 인한 리그레트를 제한한다.
• K>2인 경우, 수요 곡선의 최소 감소량에 대한 하한 γ를 알고 있을 때, 리그레트 상한을 (1/Δ + (log log T)/γ²)·(K log T) 순서로 도출한다.
• 비스스러운 설정에서는 이산화 및 적응 조정 전략을 사용하며, 기각될 경우 후보 가격을 T^{-1/2}만큼 감소시켜 알려지지 않은 평가값에 수렴하도록 한다.
• Exp3의 비순응 적대자 리그레트 한계를 활용하여 탐색 가격 b_t의 동적 조정을 처리함으로써 안정성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 구매자 평가값의 분포가 [0,1] 내에서 알려지지 않은 유한한 K개의 점에 지원될 때, 동적 가격 설정의 리그레트는 어떻게 스케일링되는가?
• RQ2 알려지지 않은 K개의 평가값의 수와 위치를 동시에 학습하는 문제는 표준 K-암호 확률적 밴딧 문제보다 엄밀히 더 어렵다고 볼 수 있는가?
• RQ3 특히 K>2일 경우, 수요 곡선의 최소 감소량에 대한 하한 γ가 알려져 있을 때 더 향상된 리그레트 한계를 달성할 수 있는가?
• RQ4 K=2인 분포 의존적 경우에 최적의 리그레트는 무엇이며, 표준 밴딧 설정과 비교해 볼 때 어떻게 다른가?
• RQ5 K>2인 분포 의존적 설정에서 로그 이하의 리그레트를 달성할 수 있는가, 아니면 문제 자체가 본질적으로 더 어렵다고 볼 수 있는가?

주요 결과

• 분포 자유 설정에서는 리그레트가 Ω(√(KT)) 이하로 내려가며, 이에 대해 O(√(KT) log T)의 리그레트를 달성하는 알고리즘이 제안되어 로그 요소를 제외한 하한과 일치한다.
• K>2인 분포 의존적 설정에서는 리그레트가 로그적으로 증가할 수 없으며, 수요 곡선의 최소 감소량에 대한 하한 γ를 알고 있을 경우 최고로 달성 가능한 한계는 O((1/Δ + (log log T)/γ²)·(K log T))이다.
• K=2이면서 하한 γ가 알려져 있을 경우 리그레트는 O((log T)/Δ) 이내로 제한되며, 로그 로그 T 요소를 제외한 바에 따라 표준 2-암호 밴딧의 성능과 일치한다.
• 두 개의 고정 평가값(하나는 알려져 있음)이 있는 비스스러운 설정에서, 논문은 O(√T)의 리그레트 한계를 확립한다. 이는 수요 곡선에 대한 사전 지식이 없더라도 성립한다.
• 감소된 손실과 적응 조정 전략을 사용하는 Exp3 기반 알고리즘이 비스스러운 두 평가값 설정에서 O(√T)의 리그레트를 달성하며, 유한한 조정 단계와 손실 과소평가에 기반한 엄밀한 증명이 제시된다.
• 논문은 알려지지 않은 평가값의 수와 위치를 동시에 학습하는 것이 표준 밴딧 문제에 비해 본질적으로 더 어려운 문제로 이어지며, 특히 K>2일 경우 더욱 뚜렷한 경향을 보임을 보여준다.