[논문 리뷰] Perishability of Data: Dynamic Pricing under Varying-Coefficient Models

Adel Javanmard|arXiv (Cornell University)|2017. 01. 13.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 11

한 줄 요약

이 논문은 시간에 따라 변화하는 소비자 선호도를 반영하는 고차원 특징 기반 제품에 대해 동적이고 고차원적인 가격 설정 정책을 제안한다. 적대적 특징 하에서는 $ O(√{T} + \sum_{t=1}^{T}\sqrt{t}\delta_{t}) $, 확률적 특징 하에서는 $ O(d^{2}\log T + \sum_{t=1}^{T}t\delta_{t}/d) $ 의 손실 한계를 확립하며, 여기서 $\delta_t$ 는 시간에 따른 매개변수 변동성을 측정한다.

ABSTRACT

We consider a firm that sells a large number of products to its customers in an online fashion. Each product is described by a high dimensional feature vector, and the market value of a product is assumed to be linear in the values of its features. Parameters of the valuation model are unknown and can change over time. The firm sequentially observes a product's features and can use the historical sales data (binary sale/no sale feedbacks) to set the price of current product, with the objective of maximizing the collected revenue. We measure the performance of a dynamic pricing policy via regret, which is the expected revenue loss compared to a clairvoyant that knows the sequence of model parameters in advance. We propose a pricing policy based on projected stochastic gradient descent (PSGD) and characterize its regret in terms of time $T$, features dimension $d$, and the temporal variability in the model parameters, $δ_t$. We consider two settings. In the first one, feature vectors are chosen antagonistically by nature and we prove that the regret of PSGD pricing policy is of order $O(\sqrt{T} + \sum_{t=1}^T \sqrt{t}δ_t)$. In the second setting (referred to as stochastic features model), the feature vectors are drawn independently from an unknown distribution. We show that in this case, the regret of PSGD pricing policy is of order $O(d^2 \log T + \sum_{t=1}^T tδ_t/d)$.

연구 동기 및 목표

• 고차원이고 시간에 따라 변화하는 특징에 의존하는 제품 가치를 고려한 온라인 마켓플레이스에서의 동적 가격 설정 문제를 다룬다.
• 시간에 따라 변화하는 계수 $\theta_t$ 를 가진 선형 모델을 사용해 소비자 평가를 모델링하여 선호도 변화를 반영한다.
• 기업의 수익을 사전에 $\theta_t$ 를 알고 있는 청지기 정책과 비교하는 손실 최소화 문제로 문제를 재구성한다.
• 적대적 특징 선택과 확률적 특징 생성이라는 두 가지 설정 하에서 성능을 분석한다.
• 시간에 따른 $\theta_t$ 의 변동성이 학습과 수익 손실에 미치는 영향을 손실 한계를 통해 정량화한다.

제안 방법

• 시간에 따라 변화하는 소비자 평가를 기술하기 위해 변동 계수 선형 모델 $v_t(x_t) = \langle x_t, \theta_t \rangle + z_t$ 를 사용한다.
• 과거 거래에서의 이진 피드백(판매/미판매)을 이용해 순차적으로 $\theta_t$ 를 추정하기 위해 투영된 확률적 경사 하강법(PSGD)을 적용한다.
• 탐색과 이용의 균형을 맞추기 위해 학습률 $\lambda_t$ 를 설계하며, $\lambda_t \propto 1/(t(1 + \sum_{\ell=1}^{t} \sigma_\ell))$ 이다.
• 실증 공분산 행렬 $Q_t = (1/t)\sum_{\ell=1}^t x_\ell x_\ell^T$ 의 고유값 경계를 이용해 $\theta_t$ 의 신뢰 집합을 구성한다.
• 확률적 특징 하에서 추정 오차를 제어하기 위해 서브가우시안 농도와 와일의 부등식을 사용한다.
• 마팅게일 농도와 지수 모멘트를 이용해 추정 오차와 수익 손실에 대한 고확률 한계를 유도한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 소비자 선호도($\delta_t$) 는 동적 가격 설정 정책의 손실에 어떤 영향을 미치는가?
• RQ2 시간에 따라 변화하는 매개변수 하에서 탐색(\theta_t$ 학습)과 이용(최적 가격 설정) 사이의 최적 균형은 무엇인가?
• RQ3 손실은 시간 $T$, 특징 차원 $d$, 시간적 변동성 $\delta_t$ 와 어떻게 스케일링되는가?
• RQ4 PSGD 기반 정책이 적대적 및 확률적 특징 모델 모두에서 하위선형 손실을 달성할 수 있는가?
• RQ5 학습 정책과 $\theta_t$ 를 사전에 알고 있는 청지기 정책 사이의 성능 격차는 얼마인가?

주요 결과

• 적대적 특징 하에서는 PSGD 정책이 $O(\sqrt{T} + \sum_{t=1}^{T} \sqrt{t} \delta_t)$ 의 손실을 달성하며, 시간에 따라 하위선형으로 증가하고 초기 단계의 변동성에 민감함을 보인다.
• 확률적 특징 하에서는 손실이 $O(d^2 \log T + \sum_{t=1}^{T} t \delta_t / d)$ 로 나타나며, $T$ 는 로그적 의존성, $d$ 는 변동성의 스케일링에 영향을 미친다.
• 확률적 특징 하에서의 손실 한계는 $d$ 가 클수록 향상되며, $\delta_t$ 가 $d$ 차원에 걸쳐 평균화되어 효과적인 변동성이 감소하기 때문이다.
• 분석을 통해 $\sigma_t$, 즉 실증 공분산 $Q_t$ 의 최소 고유값은 $t \gtrsim d^2 \log T$ 일 때 고확률로 $\sigma_{\min}$ 근처에 집중됨을 밝혔다.
• 학습률 $\lambda_t$ 는 수렴과 추정 오차 제어를 보장하기 위해 선택되며, $1/(t\lambda_t)$ 는 $6/\ell_M$ 이하로 제한된다.
• 서브가우시안 농도와 마팅게일 부등식을 이용해 추정 오차에 대한 고확률 한계를 도출하였으며, 이는 엄밀한 손실 제어를 가능하게 한다.