[논문 리뷰] A Deep Q-Network for the Beer Game with Partial Information.

Afshin Oroojlooyjadid, Mohammadreza Nazari외 2명|arXiv (Cornell University)|2017. 08. 20.

Supply Chain and Inventory Management참고 문헌 12인용 수 11

한 줄 요약

이 논문은 딥 Q네트워크(DQN) 에이전트를 제안하여 음료수 게임—비중앙집중적이고 부분 관측 가능한 공급망 게임—에서 재고 보충 결정을 최적화한다. 기준 재고 정책과 조합될 경우 near-optimal 성능을 달성하며, 인간과 유사한 주문 행동에 비해 기준 재고 정책을 크게 능가한다. 이 방법은 파rameter 제약 없이 사전 훈련된 이식 가능한 정책을 통해 실시간 의사결정을 가능하게 한다.

ABSTRACT

The beer game is a widely used in-class game that is played in supply chain management classes to demonstrate the bullwhip effect. The game is a decentralized, multi-agent, cooperative problem that can be modeled as a serial supply chain network in which agents cooperatively attempt to minimize the total cost of the network even though each agent can only observe its own local information. Each agent chooses order quantities to replenish its stock. Under some conditions, a base-stock replenishment policy is known to be optimal. However, in a decentralized supply chain in which some agents (stages) may act irrationally (as they do in the beer game), there is no known optimal policy for an agent wishing to act optimally. We propose a machine learning algorithm, based on deep Q-networks, to optimize the replenishment decisions at a given stage. When playing alongside agents who follow a base-stock policy, our algorithm obtains near-optimal order quantities. It performs much better than a base-stock policy when the other agents use a more realistic model of human ordering behavior. Unlike most other algorithms in the literature, our algorithm does not have any limits on the beer game parameter values. Like any deep learning algorithm, training the algorithm can be computationally intensive, but this can be performed ahead of time; the algorithm executes in real time when the game is played. Moreover, we propose a transfer learning approach so that the training performed for one agent and one set of cost coefficients can be adapted quickly for other agents and costs. Our algorithm can be extended to other decentralized multi-agent cooperative games with partially observed information, which is a common type of situation in real-world supply chain problems.

연구 동기 및 목표

• 음료수 게임과 같은 비중앙집중적이고 부분 관측 가능한 공급망 게임에서 에이전트가 비합리적으로 행동할 때 최적의 의사결정 정책이 부족한 문제를 해결하기 위해.
• 부분 정보 하에서도 효과적으로 작동하고 게임 파rameter에 제약이 없는 기계학습 기반 정책을 개발하기 위해.
• 계산 비용이 큰 사전 훈련 이후 실시간으로 최적화된 의사결정을 실행하기 위해.
• 훈련된 정책을 새로운 에이전트와 비용 구조에 빠르게 적응시킬 수 있는 전이 학습 프레임워크를 설계하기 위해.
• 이 방법을 다른 실제 비중앙집중적이고 협력적이고 부분 관측 가능한 다에이전트 공급망 문제로 확장하기 위해.

제안 방법

• 딥 Q네트워크(DQN)는 현지 상태 관측값을 기반으로 최적의 주문 수량을 학습하기 위해 딥 강화학습을 사용한다.
• DQN 에이전트는 누적 보상(전체 네트워크 비용을 나타냄)을 기반으로 훈련되어 시간이 지남에 따라 최소 비용을 최적화한다.
• 학습은 경험 재생과 타겟 네트워크를 사용하여 오프라인으로 수행되어 학습 안정성을 높인다.
• 전이 학습 접근법은 사전 훈련된 DQN 가중치를 재사용하고 새로운 에이전트나 비용 계수에 대해 미세조정하여 훈련 시간을 단축시킨다.
• 이 방법은 음료수 게임의 비용 계수나 파rameter 값에 제약을 두지 않는다.
• 훈련된 에이전트는 실제 게임 플레이 중 실시간으로 작동하며 현재의 현지 상태만 기반으로 의사결정을 내린다.

실험 결과

연구 질문

• RQ1 부분 정보 하에서 딥 강화학습 에이전트는 음료수 게임에서 near-optimal 재고 보충 정책을 학습할 수 있는가?
• RQ2 기타 에이전트가 기준 재고 정책 또는 인간과 유사한 비최적화된 주문 행동을 따를 때 DQN 에이전트의 성능은 기준 재고 정책과 어떻게 비교되는가?
• RQ3 최소한의 재훈련으로 사전 훈련된 DQN 정책을 새로운 에이전트나 비용 구조에 얼마나 효과적으로 이식할 수 있는가?
• RQ4 아키텍처 변경 없이도 DQN 접근법은 다양한 파rameter 값에서 여전히 효과적인가?
• RQ5 DQN 에이전트는 비중앙집중적이고 협력적이고 부분 관측 가능한 공급망 게임에서 전통적 정책을 능가할 수 있는가?

주요 결과

• 기타 에이전트가 기준 재고 정책을 따를 경우 DQN 에이전트는 near-optimal 성능을 달성하여 강력한 학습 능력을 보였다.
• 기타 에이전트가 인간과 유사한 비최적화된 주문 행동을 보일 경우 DQN은 기준 재고 정책을 크게 능가했다.
• 전이 학습 접근법은 추가 훈련을 최소화하면서도 새로운 에이전트와 비용 계수에 정책을 빠르게 적응시킬 수 있게 했다.
• 비용 계수나 시스템 파rameter에 제약 없이 음료수 게임의 모든 파rameter 값에서 이 방법이 효과적이었다.
• DQN 정책는 사전 훈련 후 실시간으로 배포되어 게임 플레이 중 저지연 의사결정을 가능하게 했다.
• 이 방법은 다른 비중앙집중적이고 부분 관측 가능하며 협력적인 다에이전트 공급망 문제로 일반화 가능했다.