[논문 리뷰] On the Convergence of Optimal Actions for Markov Decision Processes and the Optimality of $(s,S)$ Inventory Policies

Eugene A. Feinberg, Mark Edward Lewis|arXiv (Cornell University)|2015. 07. 17.

Supply Chain and Inventory Management참고 문헌 29인용 수 3

한 줄 요약

이 논문은 약한 연속성 전이, 유계가 아닌 비용, 비콤팩트 행동 집합을 갖는 할인 및 평균비용 MDP에서 최적 행동의 수렴 성질을 확립한다. 이러한 결과를 적용하여 할인 인자 1에 수렴함에 따라 최적 임계값이 수렴함을 보여, 일반적인 수요 분포를 가정하지 않고도 (s,S) 재고 정책의 최적성을 입증한다.

ABSTRACT

This paper studies convergence properties of optimal values and actions for discounted and average-cost Markov Decision Processes (MDPs) with weakly continuous transition probabilities and applies these properties to the stochastic periodic-review inventory control problem with backorders, positive setup costs, and convex holding/backordering costs. The following results are established for MDPs with possibly noncompact action sets and unbounded cost functions: (i) convergence of value iterations to optimal values for discounted problems with possibly non-zero terminal costs, (ii) convergence of optimal finite-horizon actions to optimal infinite-horizon actions for total discounted costs, as the time horizon tends to infinity, and (iii) convergence of optimal discount-cost actions to optimal average-cost actions for infinite-horizon problems, as the discount factor tends to 1. Being applied to the setup-cost inventory control problem, the general results on MDPs imply the optimality of $(s,S)$ policies and convergence properties of optimal thresholds. In particular this paper analyzes the setup-cost inventory control problem without two assumptions often used in the literature: (a) the demand is either discrete or continuous or (b) the backordering cost is higher than the cost of backordered inventory if the amount of backordered inventory is large.

연구 동기 및 목표

• 무한 수평 MDP에서 할인 및 평균비용 기준 하에 최적 행동의 일반적인 수렴 성질을 확립하기 위해.
• 일반적인 MDP 결과를 확률적 재고 문제에 적용하여 MDP 이론과 재고 제어 간 격차를 메우기 위해.
• 이산 또는 연속 수요를 가정하지 않고도 설정 비용 재고 시스템에서 (s,S) 정책의 최적성을 입증하기 위해.
• 시간 수평이 증가하거나 할인 인자가 1에 수렴함에 따라 유한 수평에서의 최적 (s_t, S_t) 임계값이 한계 (s, S) 값으로 수렴함을 보여주기 위해.
• 기존 결과를 확장하기 위해 일반적으로 사용되는 가정(예: 유계 보관 비용 또는 특정 수요 분포 유형)을 제거하기 위해.

제안 방법

• 약한 연속성 전이 확률과 inf-콤팩트 비용 함수를 사용하여 MDP에서 최적 정책의 존재를 보장한다.
• 무한 비용이 가능한 할인 및 평균비용 MDP의 값 반복 및 수렴 정리에 응용한다.
• 일반화된 형태의 최적성 방정식과 평균비용 최적성 부등식(ACOI)을 사용하여 구조적 결과를 도출한다.
• 값 함수의 K-볼록성 특성을 활용하여 평균비용 기준 하에 최적 (s,S) 정책을 특성화한다.
• 비용 함수의 연속성과 볼록성을 이용하여 유한 수평 최적 행동이 무한 수평 극한으로 수렴함을 증명한다.
• Feinberg와 Liang(2018, 2019)의 결과를 활용하여 재고 모델에서 값 함수의 연속성과 K-볼록성에 대한 분석을 수행한다.

실험 결과

연구 질문

• RQ1 유한 수평 MDP에서 최적 행동이 시간 수평이 증가함에 따라 어떻게 무한 수평 최적 행동으로 수렴하는가?
• RQ2 할인 인자가 1에 수렴함에 따라 할인 MDP의 최적 행동이 어떻게 평균비용 최적 행동으로 수렴하는가?
• RQ3 (s,S) 정책이 이산 또는 연속 수요 분포를 가정하지 않고도 재고 제어 문제에서 최적임을 입증할 수 있는가?
• RQ4 유한 수평 설정 비용 재고 문제에서 최적 (s_t, S_t) 임계값 수렴을 보장하는 조건은 무엇인가?
• RQ5 일반적인 비용 및 전이 가정 하에서 평균비용 최적성 방정식이 더 강력한 형태(예: 등식)로 성립하는가?

주요 결과

• 값 반복이 할인 MDP에서 가능한 비영인 종료 비용과 유계가 아닌 비용이 존재할 경우에도 최적 값으로 수렴한다.
• 시간 수평이 무한으로 갈수록 유한 수평 최적 행동이 총 할인 비용 기준 하에 무한 수평 최적 행동으로 수렴한다.
• 할인 비용 최적 행동이 할인 인자가 1에 수렴함에 따라 평균비용 최적 행동으로 수렴한다.
• 일반적인 수요 분포 하에서 유한 수평 설정 비용 재고 제어 문제에서 (s,S) 정책이 최적임을 입증한다. 이는 이산 또는 연속 수요를 가정하지 않는다.
• 시간 수평이 증가함에 따라 최적 (s_t, S_t) 임계값이 한계 값 (s, S)으로 수렴하며, MDP 수렴 정리에 의해 이를 증명한다.
• 재고 모델에서 평균비용 최적성 방정식이 더 강력한 형태(등식)로 성립하며, 값 함수는 K-볼록성과 연속성을 갖는다.