[논문 리뷰] Approximate Dynamic Programming for Delivery Time Slot Pricing: a Sensitivity Analysis

Denis Lebedev, Kostas Margellos외 1명|arXiv (Cornell University)|2020. 08. 03.

Supply Chain and Inventory Management참고 문헌 19인용 수 5

한 줄 요약

이 논문은 모델 불확실성 하에서 실시간 가격 설정이 가능하고 강건한 성능을 보이는, 기울기 제한 동적 프로그래밍(GDP)을 제안한다. 이는 배송 시간대 가격 설정 최적화를 위한 보다 우수한 근사 동적 프로그래밍 방법으로, 수익 창출 능력과 계산 효율성 면에서 선형 및 비선형 스토크래스틱 이중 DP보다 뛰어나다. GDP는 상태 피드백을 활용한 비선형 가치 함수 근사값을 구하기 위해 볼록 최적화를 사용한다.

ABSTRACT

We consider the revenue management problem of finding profit-maximising prices for delivery time slots in the context of attended home delivery. This multi-stage optimal control problem admits a dynamic programming formulation that is intractable for realistic problem sizes due to the so-called "curse of dimensionality". Therefore, we study three approximate dynamic programming algorithms both from a control-theoretical perspective and in a parametric numerical case study. Our numerical analysis is based on real-world data, from which we generate multiple scenarios to stress-test the robustness of the pricing policies to errors in model parameter estimates. Our theoretical analysis and numerical benchmark tests show that one of these algorithms, namely gradient-bounded dynamic programming, dominates the others with respect to computation time and profit-generation capabilities of the delivery slot pricing policies that it generates. Finally, we show that uncertainty in the estimates of the model parameters further increases the profit-generation dominance of this approach.

연구 동기 및 목표

• 배송 시간대 가격 설정 최적화를 통해 수익을 극대화하는 것으로, 인계된 가정 배송의 수익 관리 문제를 해결한다.
• 실제 배송 물류 문제에 적용 가능한 동적 프로그래밍의 차원의 극복 문제를 해결한다.
• 선형 가치 함수 근사, 비선형 스토크래스틱 이중 DP, 기울기 제한 DP를 포함한 세 가지 근사 동적 프로그래밍 알고리즘의 계산 효율성과 수익 창출 능력을 평가하고 비교한다.
• 실제 데이터와 다중 시나리오 스트레스 테스트를 통해 모델 파rameter 불확실성 하에서 알고리즘의 강건성(내구성)을 평가한다.
• 기울기 제한 DP가 수익과 계산 시간 모두에서 뛰어난 성능을 보이며, 특히 추정 오차가 존재할 경우에도 유의미한 성능 우위를 유지함을 입증한다.

제안 방법

• 문헌 [13]에서 제안한 기울기 제한 DP 알고리즘을 인계된 가정 배송 수익 관리 문제에 적응시켜, 비선형 가치 함수 근사값을 계산하기 위해 볼록 최적화를 사용한다.
• 주문 수량이 배송 시간대에 따라 변화하는 상태 피드백을 포함한 다단계 최적 제어 문제로 가격 설정 문제를 수식화한다.
• 실제 데이터로부터 추정된 파라미터를 사용해 시간대 및 가격에 따른 고객 선택 행동을 다항 로짓 모델로 표현한다.
• 과도한 정규화 항을 생략함으로써 비선형 스토크래스틱 이중 DP의 단순화된 버전을 구현하였으며, 이로 인해 피드백 제어 기능을 유지할 수 있었다.
• 기준선으로 선형 가치 함수 근사법을 적용하였으며, 이는 기울기가 일정하기 때문에 개방 루프 제어기 구조를 유도하는 이론적 한계가 있음을 주목한다.
• 모델 파rameter 불확실성 수준을 다양하게 설정한 다중 시나리오 수치 사례 연구를 수행하여, 추정 오차 하에서의 강건성과 성능을 시험한다 (σ² ∈ {0.01, 0.1, 1}).

실험 결과

연구 질문

• RQ1 배송 시간대 가격 설정 문제에서 다양한 근사 동적 프로그래밍 알고리즘이 수익 창출 능력과 계산 속도 면에서 어떻게 성능을 내는가?
• RQ2 이 맥락에서 선형 가치 함수 근사의 이론적 한계는 무엇이며, 제어 피드백 구조에 어떤 영향을 미치는가?
• RQ3 스토크래스틱 이중 DP에서 유도된 비선형 가치 함수 근사가 선형 근사보다 더 나은 상태 피드백을 제공할 수 있는가? 이에 따른 계산 비용의 트레이드오프는 무엇인가?
• RQ4 고객 선택 모델의 파라미터 불확실성이 각 알고리즘의 성능에 미치는 영향은 무엇이며, 어느 알고리즘이 가장 강건한가?
• RQ5 기울기 제한 DP는 현실적인 모델 추정 오차 하에서도 성능 우위를 유지하는가? 그 이유는 무엇인가?

주요 결과

• 기울기 제한 DP는 파라미터 불확실성 하에서도 선형 가치 함수 근사보다 수익 창출 능력에서 뚜렷한 우월성을 보이며, σ² = 1일 때 수익 감소 폭이 약 10배 감소한다.
• 선형 가치 함수 근사 방법은 기울기가 일정하기 때문에 개방 루프 제어기를 생성하며, 모든 가능한 상태에서 동일한 가격 설정을 유도하고 모델 오차에 대해 매우 취약하다.
• 비선형 스토크래스틱 이중 DP는 상태 피드백과 불확실성에 대한 강건성을 제공하지만, 비볼록 최적화 문제를 풀어야 하므로 높은 계산 비용을 유발한다.
• 기울기 제한 DP는 볼록 최적화를 통해 비선형 가치 함수 근사값을 생성함으로써 수익과 계산 속도 사이의 최적 균형을 달성한다.
• 파라미터 불확실성 증가(σ² = 0.01에서 1로)에 따라 GDP와 비선형 이중 DP는 뛰어난 성능을 유지하지만, 선형 근사는 급격히 성능이 떨어지며 예상 수익의 최대 90%를 상실할 수 있다.
• 사례 연구 결과, 고객 선택 모델의 파라미터가 잘못 추정된 경우에도 GDP의 수익 및 계산 시간 우월성이 유지됨을 확인하였으며, 실용적 타당성을 입증하였다.