[논문 리뷰] Towards Agnostic Feature-based Dynamic Pricing: Linear Policies vs Linear Valuation with Unknown Noise

Jianyu Xu, Yu-Xiang Wang|arXiv (Cornell University)|2022. 01. 27.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 미리 정의되지 않은 노이즈가 존재하는 악성 특성 설정에서, 선형 가격 정책에 대한 Linear-EXP4와 선형 노이즈 있는 평가에 대한 D2-EXP4라는 두 가지 no-regret 알고리즘을 제안한다. 선형 정책에 대해서는 최소최대 리그레트가 $\tilde{O}(d^{1/3}T^{2/3})$이며, 노이즈 있는 평가에 대해서는 $\tilde{O}(T^{3/4})$를 달성한다. 이는 약한 가정 하에서 빈도 기반 피드백과 비교해 더 풍부한 가격-수락 신호 피드백가지 리그레트 감소에 큰 이점이 없다는 것을 보여준다.

ABSTRACT

In feature-based dynamic pricing, a seller sets appropriate prices for a sequence of products (described by feature vectors) on the fly by learning from the binary outcomes of previous sales sessions ("Sold" if valuation $\geq$ price, and "Not Sold" otherwise). Existing works either assume noiseless linear valuation or precisely-known noise distribution, which limits the applicability of those algorithms in practice when these assumptions are hard to verify. In this work, we study two more agnostic models: (a) a "linear policy" problem where we aim at competing with the best linear pricing policy while making no assumptions on the data, and (b) a "linear noisy valuation" problem where the random valuation is linear plus an unknown and assumption-free noise. For the former model, we show a $ ildeΘ(d^{\frac13}T^{\frac23})$ minimax regret up to logarithmic factors. For the latter model, we present an algorithm that achieves an $ ilde{O}(T^{\frac34})$ regret, and improve the best-known lower bound from $Ω(T^{\frac35})$ to $ ildeΩ(T^{\frac23})$. These results demonstrate that no-regret learning is possible for feature-based dynamic pricing under weak assumptions, but also reveal a disappointing fact that the seemingly richer pricing feedback is not significantly more useful than the bandit-feedback in regret reduction.

연구 동기 및 목표

• 최소한의 가정 하에서 특성 기반 동적 가격 설정에 대한 no-regret 학습 알고리즘을 설계하는 것, 특히 평가 노이즈가 알려지지 않았고 비구조적인 경우에 중점을 둔다.
• 두 가지 악성 모델에서 최소최대 리그레트를 연구하는 것: (a) 최적의 선형 가격 정책(LP)과 경쟁하고, (b) 알려지지 않은 노이즈가 있는 선형 평가 하에서 최적의 가격과 경쟁한다.
• LV 문제에서 기존 상한과 하한 사이의 격차를 좁히기 위해 하한을 $\tilde{\Omega}(T^{2/3})$로 향상시키고, 이를 충족하는 상한 알고리즘을 제시하는 것.
• 조금 더 풍부한 피드백(예: 전체 가격-수락 신호)이 있더라도, 약한 가정 하에서 리그레트 감소가 밴딧 피드백과 유사하게 제한됨을 보여주는 것.

제안 방법

• 선형 함수 $v_t = x_t^\top \beta$로 구성된 이산화된 정책 집합을 사용해 최적의 고정된 $\beta^*$와 경쟁하는 EXP-4 기반 알고리즘인 Linear-EXP4를 제안한다.
• 선형 평가 매개수 $\theta^*$와 알려지지 않은 노이즈 분포 $\mathbb{D}$를 동시에 학습하는 이중 단계 알고리즘인 D2-EXP4를 도입한다. 이는 이산화된 CDF 가족 $\mathcal{F}_\gamma$를 통해 이루어진다.
• 정책 공간을 유한하게 만들기 위해 $\theta$와 노이즈 CDF에 대한 이산화 기법을 사용하여 EXP-4 프레임워크 적용 가능하게 한다.
• 알 수 없는 시간 범위 $T$를 다루기 위해 듀얼링 트릭을 적용하여, 악성 특성 시퀀스 하에서도 리그레트 경계를 유지한다.
• 악성 $x_t$와 유계 노이즈를 가진 딱딱한 예시를 기반으로 한 새로운 하한 구축 기법을 적용하여, $\tilde{\Omega}(T^{2/3})$ 리그레트가 피할 수 없다는 것을 보였다.
• 전역 최적해로부터 $[-O(\gamma), 0]$ 범위 내의 정책을 포함하도록 보장하기 위해 $\gamma$-라운딩 전략을 도입한다.

실험 결과

연구 질문

• RQ1 평가가 선형인 경우가 아니고 노이즈가 알려지지 않았으며 비모수적일 때, 특성 기반 동적 가격 설정에서 no-regret 학습이 가능할 수 있는가?
• RQ2 악성 특성과 $x_t \to y_t$ 매핑에 대한 가정이 없는 조건에서 선형 정책 학습의 최소최대 리그레트의 기본 한계는 무엇인가?
• RQ3 알려지지 않은 노이즈가 있는 선형 평가의 리그레트는 밴딧 피드백과 비교해 어떻게 되며, 더 풍부한 피드백이 성능 향상에 크게 기여하는가?
• RQ4 선형 노이즈 있는 평가 모델에서 최소최대 리그레트를 $\tilde{O}(T^{3/4})$를 초월해 향상시킬 수 있으며, 가장 날카로운 하한은 무엇인가?
• RQ5 알려지지 않은 노이즈 분포를 학습하는 데서 기인하는 복잡성이, 구매 결정에 대한 전체 피드백이 있더라도 리그레트 감소를 본질적으로 제한하는가?

주요 결과

• 선형 정책(LP) 문제의 최소최대 리그레트는 $\tilde{\Theta}(d^{1/3}T^{2/3})$이며, 로그 인자 외에는 상한과 하한이 일치한다.
• 선형 노이즈 있는 평가(LV) 문제에 대해 제안된 D2-EXP4 알고리즘이 $\tilde{O}(T^{3/4} + d^{1/2}T^{5/8})$ 리그레트를 달성하며, 이는 이전의 경계를 향상시킨다.
• 논문은 LV 문제에 대해 새로운 하한 $\tilde{\Omega}(T^{2/3})$를 확립하여 이전의 $\Omega(T^{3/5})$ 경계를 향상시켰다.
• 결과적으로, 구매 결정에 대한 전체 피드백이 있더라도 리그레트 감소는 밴딧 피드백 설정과 유사하게 제한되어 있음을 보여주며, 악성 노이즈 하에서의 본질적 한계를 시사한다.
• 노이즈 규모 $R$에 대한 의존성은 $O(\sqrt{R \log R})$로 나타나며, 이는 느리게 증가하므로 더 큰 노이즈 범위에 대해 강건함을 시사한다.
• 약한 가정 하에서도 no-regret 학습이 가능하다는 것을 보여주지만, 더 풍부한 피드백이 있더라도 리그레트는 $T^{2/3}$를 크게 초월할 수 없음을 보여준다.