[논문 리뷰] Close the Gaps: A Learning-while-Doing Algorithm for a Class of Single-Product Revenue Management Problems

Zizhuo Wang, Shiming Deng외 1명|arXiv (Cornell University)|2011. 01. 24.

Advanced Bandit Algorithms ResearchDecision Sciences참고 문헌 21인용 수 16

한 줄 요약

이 논문은 수요 불확실성 하에서 단일 제품 수익 관리 문제에 대해 실시간으로 최적의 가격을 학습하는 동적 '학습-실행' 알고리즘을 제안한다. 소매업자는 수축하는 간격 내에서 반복적으로 가격을 시험함으로써 최적의 가격을 실시간으로 학습한다. 이 방법은 $ O^*(n^{-1/2}) $의 渐진적 손실를 달성하며, 이는 가능한 한 빠른 속도 중 하나이며, 비모수적 및 모수적 접근법을 모두 능가한다. 특히 모형 오특정 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

We consider a retailer selling a single product with limited on-hand inventory over a finite selling season. Customer demand arrives according to a Poisson process, the rate of which is influenced by a single action taken by the retailer (such as price adjustment, sales commission, advertisement intensity, etc.). The relationship between the action and the demand rate is not known in advance. However, the retailer is able to learn the optimal action "on the fly" as she maximizes her total expected revenue based on the observed demand reactions. Using the pricing problem as an example, we propose a dynamic "learning-while-doing" algorithm that only involves function value estimation to achieve a near-optimal performance. Our algorithm employs a series of shrinking price intervals and iteratively tests prices within that interval using a set of carefully chosen parameters. We prove that the convergence rate of our algorithm is among the fastest of all possible algorithms in terms of asymptotic "regret" (the relative loss comparing to the full information optimal solution). Our result closes the performance gaps between parametric and non-parametric learning and between a post-price mechanism and a customer-bidding mechanism. Important managerial insight from this research is that the values of information on both the parametric form of the demand function as well as each customer's exact reservation price are less important than prior literature suggests. Our results also suggest that firms would be better off to perform dynamic learning and action concurrently rather than sequentially.

연구 동기 및 목표

• 수요 함수가 알려져 있지 않고 실시간으로 학습이 필요할 때 수익 관리 문제를 해결하기 위해.
• 수익 관리 분야에서 모수적 및 비모수적 학습 접근법 간의 성능 격차를 해소하기 위해.
• 동시 학습과 행동이 순차적 탐색-이용 전략보다 우월한 성능을 발휘함을 보여주기 위해.
• 모수적 수요 형태와 개인 고객의 예상 가격에 대한 정보의 가치를 정량화하기 위해.
• 다양한 수요 함수 가족에 걸쳐 높은 성능을 유지하는 강건한 비모수적 가격 설정 알고리즘을 개발하기 위해.

제안 방법

• 최적의 가격을 포함할 가능성이 높은 수축하는 가격 간격을 사용한다.
• 탐색과 이용의 균형을 이루기 위해 철저히 선택된 파라미터를 사용해 각 간격 내에서 반복적인 가격 실험을 수행한다.
• 함수 값 추정 이외의 연산이 필요 없어 도함수나 모형 피팅의 복잡성을 피한다.
• 최적의 가격 주위에 신뢰 구간을 유지하고 관측된 수요 반응에 따라 점차 좁히며 진행한다.
• 최악의 경우 손실 한계를 유도하여 渐진적 최적성을 입증하며, 알고리즘의 성능이 거의 최고 수준임을 보여준다.
• 구조적 붕괴에 대한 사전 지식을 통합함으로써 이중 수요 함수를 다룰 수 있도록 방법을 확장한다.

실험 결과

연구 질문

• RQ1 수요 함수가 알려져 있지 않은 비모수적 수익 관리 상황에서 최적의 학습 전략은 무엇인가?
• RQ2 일회성 격자 기반 학습과 비교할 때, 동적 학습 알고리즘의 손실는 수렴 속도 측면에서 어떻게 다른가?
• RQ3 비모수적 환경에서 수요 함수의 모수적 형태에 대한 사전 지식은 얼마나 가치가 있는가?
• RQ4 구매 결정만 관찰하는 것과 비교해 개인 고객의 예상 가격을 알고 있는 것이 상대적으로 얼마나 유리한가?
• RQ5 학습과 행동을 하나의 동적 절차에서 효과적으로 융합해 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 동적 가격 설정 알고리즘(DPA)은 $ O^*(n^{-1/2}) $의 渐진적 손실를 달성하며, 이는 모든 알고리즘 중에서 가장 빠른 속도 중 하나이다.
• 모의 실험에서 DPA는 테스트된 $ n $의 모든 값에서 Besbes와 Zeevi(2013)의 비모수 정책보다 일관되게 뛰어난 성능을 보이며, 훨씬 낮은 손실를 기록했다.
• 모수적 정책(P-BZ-L 및 P-BZ-E)은 진짜 수요 함수가 그들이 가정한 형태와 일치할 경우에만 잘 작동했지만, 오특정 상황에서는 수렴 손실이 0으로 수렴하지 못했다.
• DPA의 손실는 로그-로그 스케일에서 기울기가 약 -0.5로 감소하여 안정적인 $ n^{-1/2} $ 수렴 속도임을 시사한다.
• 최적의 학습 점 선택이 가능하더라도, $ n $이 증가함에 따라 모수적 정책은 DPA에 비해 성능이 열 劣했다. 이는 모형 오특정의 위험성을 강조한다.
• 결과적으로 기업은 순차적 학습이나 모수적 가정에 의존하는 것보다 동적이고 동시적인 학습 및 행동 전략을 우선시해야 한다.