[논문 리뷰] A Deep Q-Network for the Beer Game: A Deep Reinforcement Learning algorithm to Solve Inventory Optimization Problems

Afshin Oroojlooyjadid, Mohammadreza Nazari외 2명|arXiv (Cornell University)|2017. 08. 20.

Supply Chain and Inventory Management참고 문헌 44인용 수 24

한 줄 요약

이 논문은 베어거머니 게임이라는 분산형 다중 에이전트 공급망 문제에서 재고 결정을 최적화하기 위해 보상 형태를 조정한 딥 Q-네트워크(SRDQN) 강화학습 알고리즘을 제안한다. 이 방법은 수요 분포에 대한 사전 지식 없이도 근사 최적의 정책을 학습하며, 동료 에이전트가 현실적인 인간 유사 행동을 취할 경우 기준 재고 정책보다 우수한 성능을 보이며, 10배 빠른 훈련 속도로 에이전트 간 빠른 전이 학습을 가능하게 한다.

ABSTRACT

The beer game is a widely used in-class game that is played in supply chain management classes to demonstrate the bullwhip effect. The game is a decentralized, multi-agent, cooperative problem that can be modeled as a serial supply chain network in which agents cooperatively attempt to minimize the total cost of the network even though each agent can only observe its own local information. Each agent chooses order quantities to replenish its stock. Under some conditions, a base-stock replenishment policy is known to be optimal. However, in a decentralized supply chain in which some agents (stages) may act irrationally (as they do in the beer game), there is no known optimal policy for an agent wishing to act optimally. We propose a machine learning algorithm, based on deep Q-networks, to optimize the replenishment decisions at a given stage. When playing alongside agents who follow a base-stock policy, our algorithm obtains near-optimal order quantities. It performs much better than a base-stock policy when the other agents use a more realistic model of human ordering behavior. Unlike most other algorithms in the literature, our algorithm does not have any limits on the beer game parameter values. Like any deep learning algorithm, training the algorithm can be computationally intensive, but this can be performed ahead of time; the algorithm executes in real time when the game is played. Moreover, we propose a transfer learning approach so that the training performed for one agent and one set of cost coefficients can be adapted quickly for other agents and costs. Our algorithm can be extended to other decentralized multi-agent cooperative games with partially observed information, which is a common type of situation in real-world supply chain problems.

연구 동기 및 목표

• 에이전트가 비합리적이거나 예측 불가능하게 행동하는 분산형 공급망에서 최적의 정책이 부족한 문제를 해결하기 위해.
• 알려진 수요 분포나 비용 구조를 가정하지 않고도 최적의 주문 수량을 학습하는 데이터 기반 강화학습 접근법을 개발하기 위해.
• 훈련된 에이전트가 비용 계수나 행동 공간이 다른 새로운 에이전트 또는 환경으로 빠르게 적응할 수 있도록 효율적인 전이 학습을 가능하게 하기 위해.
• 모의 및 실제 환경에서 기준 재고 정책과 인간 유사 주문 행동과의 성능을 평가하기 위해.
• 딥 강화학습을 복잡한 실제 공급망 조율 문제에 적용할 수 있는 가능성을 입증하기 위해.

제안 방법

• SRDQN 알고리즘은 다중 에이전트 협동 환경인 베어거머니 게임에서 학습을 이끌어내기 위해 보상 형태 조정을 도입한 딥 Q-네트워크(DQN)의 확장이다.
• 알고리즘은 상태-행동 쌍을 기대 누적 보상으로 매핑하는 Q-함수를 근사하기 위해 딥 신경망을 사용한다.
• 상태 표현은 재고 수준, 후순행 주문 수준, 주문 이력으로 구성되며, 행동 공간은 주문 수량으로 정의된다.
• 보상 형태 조정은 비용 최소화를 장려하고 특히 희박한 보상 환경에서 훈련을 안정화시키기 위해 적용된다.
• 전이 학습은 소스 에이전트의 사전 훈련된 모델을 타겟 에이전트의 정책 네트워크에 초기화하여 구현되며, 학습 가능한 파라미터를 줄이고 수렴 속도를 높인다.
• 훈련은 경험 재생과 타겟 네트워크를 사용하여 안정성을 향상시키며, 초모수는 그리드 서치를 통해 최적화된다.

실험 결과

연구 질문

• RQ1 기타 에이전트가 기준 재고 정책 또는 인간 유사 주문 행동을 따를 경우, 딥 강화학습 에이전트가 베어거머니 게임에서 근사 최적의 재고 정책을 학습할 수 있는가?
• RQ2 동료 에이전트가 비합리적이거나 최적화되지 않은 주문 전략을 사용할 경우, SRDQN 알고리즘이 기준 재고 정책보다 어떻게 성능을 내는가?
• RQ3 새로운 에이전트 또는 비용 구조로 에이전트를 적응시키는 데 전이 학습이 훈련 시간을 얼마나 줄일 수 있는가?
• RQ4 비용 계수, 행동 공간 또는 에이전트 역할의 변화에 대해 훈련된 SRDQN 에이전트는 얼마나 견고한가?
• RQ5 재훈련 없이도 다양한 공급망 구성으로 일반화 가능한가?

주요 결과

• 동료 에이전트가 기준 재고 정책을 따를 경우, SRDQN 에이전트는 최적의 기준 재고-기준 재고(BS-BS) 정책의 비용과 2.31% 이내로 근사 최적의 성능을 달성한다.
• 동료 에이전트가 더 현실적인 인간 유사 주문 모델(Stro-BS)을 사용할 경우, SRDQN 에이전트는 기준 재고 정책 대비 11.65%의 비용 절감을 달성한다.
• 전이 학습은 초기 훈련 대비 최대 46.89%의 훈련 시간 단축을 이끌었으며, 소스 및 타겟 에이전트가 비용 계수와 행동 공간에서 다를 경우에도 BS-BS 정책과 12.58%의 격차를 유지한다.
• 훈련된 SRDQN 에이전트는 보관 및 부족 비용 계수의 변화에 대해 견고하며, 민감도 분 析에서도 근사 최적의 성능을 유지한다.
• 전이 학습 중에 안정적이고 신속한 수렴이 이루어지며, 낮은 훈련 노이즈와 함께 근사 최적의 비용 수준에 신속히 도달한다.
• SRDQN 에이전트는 온라인 베어거머니 게임 플랫폼에 성공적으로 구현되어 4,000명 이상의 플레이어가 17,000회 이상 사용했으며, 실제 적용 가능성은 입증되었다.