[논문 리뷰] Dynamic Programming for Optimal Delivery Time Slot Pricing

Denis Lebedev, Paul J. Goulart외 1명|arXiv (Cornell University)|2019. 10. 25.

Supply Chain and Inventory Management참고 문헌 18인용 수 5

한 줄 요약

이 논문은 수거가 필요한 주문 배송에서 최적의 시간대 가격 설정을 위한 동적 프로그래밍 프레임워크를 개발하며, 가치 함수가 상태 변수에 대해 유일한 고정점과 연속적이며 볼록한 확장을 갖는 것을 증명한다. 이는 온라인 도시락 물류에서 수익 관리에 대한 확장 가능한 근사 동적 프로그래밍을 가능하게 한다.

ABSTRACT

We study the dynamic programming approach to revenue management in the context of attended home delivery. We draw on results from dynamic programming theory for Markov decision problems to show that the underlying Bellman operator has a unique fixed point. We then provide a closed-form expression for the resulting fixed point and show that it admits a natural interpretation. Moreover, we also show that -- under certain technical assumptions -- the value function, which has a discrete domain and a continuous codomain, admits a continuous extension, which is a finite-valued, concave function of its state variables, at every time step. This result opens the road for achieving scalable implementations of the proposed formulation in future work, as it allows making informed choices of basis functions in an approximate dynamic programming context. We illustrate our findings on a simple numerical example and provide suggestions on how our results can be exploited to obtain closer approximations of the exact value function.

연구 동기 및 목표

• 손님의 존재가 필요하고 부패하기 쉬운 상품을 수거해야 하는 수거가 필요한 주문 배송에서의 수익 관리 문제를 해결한다.
• 동적 프로그래밍의 차원의 극복 문제를 가치 함수의 구조적 성질을 분석하여 극복한다.
• 지속적이고 볼록한 가치 함수의 확장을 통해 근사 동적 프로그래밍의 확장 가능한 구현을 가능하게 한다.
• 벨만 연산자의 고정점을 특성화하여 정확한 가격 전략 수립의 기반을 마련한다.
• 닫힌 형태의 표현식과 연속 함수 근사법을 통해 최적의 가격 설정의 실용적 구현을 지원한다.

제안 방법

• 이산 상태와 연속 시간을 갖는 마르코프 결정 과정으로 수익 관리 문제를 수립한다.
• 동적 프로그래밍 이론을 적용하여 벨만 연산자가 고유한 고정점을 갖는 것을 증명하고, 이를 닫힌 형태로 유도한다.
• 모든 시간 단계에서 상태 변수에 대해 가치 함수가 연속적이며 유한한 값과 볼록한 확장을 갖는 것을 증명한다.
• 이산 볼록 분석과 활성 배송 시간대의 지지 집합에 대한 귀납법을 사용하여 볼록 폐쇄 성질을 확립한다.
• 분석적 취급 가능성을 높이기 위해 기회비용 구조와 볼록 조합을 사용하여 동적 프로그램을 재구성한다.
• 제닝스 부등식과 초평면 표현을 활용하여 가치 함수의 볼록 확장 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 수거가 필요한 주문 배송에서 시간대 가격 설정을 위한 벨만 연산자는 고유한 고정점을 갖는가?
• RQ2 이산 도메인을 가질지라도 상태 변수에 대해 가치 함수는 연속적이고 볼록하게 확장될 수 있는가?
• RQ3 어떤 가치 함수의 구조적 성질이 고차원 상태 공간에서의 확장 가능한 근사화를 가능하게 하는가?
• RQ4 경제적 해석이 가능한 닫힌 형태로 벨만 동적 프로그램의 고정점은 어떻게 표현될 수 있는가?
• RQ5 어떤 조건에서 가치 함수는 효율적인 근사화를 지원하는 유한한 값과 볼록한 확장을 갖는가?

주요 결과

• 동적 프로그램의 벨만 연산자는 고유한 고정점을 갖으며, 이는 닫힌 형태로 분석적으로 특성화되어 있다.
• 기술적 가정 하에 모든 시간 단계에서 상태 변수에 대해 가치 함수는 연속적이며 유한한 값과 볼록한 확장을 갖는다.
• 이 볼록 확장 덕분에 근사 동적 프로그래밍에서 정보 기반 기저 함수를 사용할 수 있어 확장성이 향상된다.
• 벨만 연산자의 고정점은 활성 배송 시간대의 지지 집합 위의 초평면과 대응하여 구조적 안정성을 보장한다.
• 가치 함수의 볼록 확장 덕분에 볼록 조합과 제닝스 부등식을 사용해 더 날카운 근사가 가능하다.
• 유도된 연속적 확장 덕분에 최적의 가격 정책이 효율적으로 근사 가능하며, 실용적 구현을 뒷받침함을 검증한다.