[論文レビュー] A Deep Q-Network for the Beer Game with Partial Information.

Afshin Oroojlooyjadid, Mohammadreza Nazari+2 more|arXiv (Cornell University)|Aug 20, 2017

Supply Chain and Inventory Management参考文献 12被引用数 11

ひとこと要約

本稿では、部分観測可能な分散型サプライチェーンゲーム「ビール・ゲーム」において、補充意思決定を最適化するためのディープQネットワーク（DQN）エージェントを提案する。ベースストックエージェントと組み合わせた場合、ほぼ最適なパフォーマンスを達成し、人間のような注文行動に対するベースストック方針を著しく上回る。本手法により、パrameter制約なしに事前に学習済みで転送可能なポリシーを用いて、リアルタイム意思決定が可能となる。

ABSTRACT

The beer game is a widely used in-class game that is played in supply chain management classes to demonstrate the bullwhip effect. The game is a decentralized, multi-agent, cooperative problem that can be modeled as a serial supply chain network in which agents cooperatively attempt to minimize the total cost of the network even though each agent can only observe its own local information. Each agent chooses order quantities to replenish its stock. Under some conditions, a base-stock replenishment policy is known to be optimal. However, in a decentralized supply chain in which some agents (stages) may act irrationally (as they do in the beer game), there is no known optimal policy for an agent wishing to act optimally. We propose a machine learning algorithm, based on deep Q-networks, to optimize the replenishment decisions at a given stage. When playing alongside agents who follow a base-stock policy, our algorithm obtains near-optimal order quantities. It performs much better than a base-stock policy when the other agents use a more realistic model of human ordering behavior. Unlike most other algorithms in the literature, our algorithm does not have any limits on the beer game parameter values. Like any deep learning algorithm, training the algorithm can be computationally intensive, but this can be performed ahead of time; the algorithm executes in real time when the game is played. Moreover, we propose a transfer learning approach so that the training performed for one agent and one set of cost coefficients can be adapted quickly for other agents and costs. Our algorithm can be extended to other decentralized multi-agent cooperative games with partially observed information, which is a common type of situation in real-world supply chain problems.

研究の動機と目的

• ビール・ゲームのような分散型で部分観測可能なサプライチェーンゲームにおいて、エージェントが非合理的に行動する状況で最適な意思決定ポリシーが欠如している問題に対処する。
• 部分情報のもとで効果的に動作し、ゲームパrameterに制限のない機械学習ベースのポリシーを開発すること。
• 計算負荷の高い事前学習を経て、最適化された意思決定をリアルタイムで実行可能にする。
• 訓練済みポリシーを新しいエージェントやコスト構造に迅速に適応できる転移学習フレームワークを設計すること。
• 本手法を、他の現実世界の分散型で協調的かつ部分観測可能なマルチエージェントサプライチェーン問題へ拡張すること。

提案手法

• ディープQネットワーク（DQN）を用いて、局所的な状態観測に基づき最適な注文数量を学習する。深層強化学習を用いる。
• DQNエージェントは、ネットワーク全体のコストを表す累積報酬から学習し、時間経過とともにコストを最小化することを最適化する。
• 学習の安定化のため、オフライン学習で経験リプレイとターゲットネットワークを用いる。
• 転移学習アプローチにより、事前に学習済みのDQN重みを再利用し、新しいエージェントやコスト係数に微調整することで、学習時間を短縮する。
• 本手法は、ビール・ゲームのコスト係数やパrameter値に制限を課さない。
• 訓練済みエージェントは、実行時においてもリアルタイムに動作し、現在の局所状態のみに基づいて意思決定を行う。

実験結果

リサーチクエスチョン

• RQ1 部分情報のもとで、ディープ強化学習エージェントはビール・ゲームにおいてほぼ最適な補充ポリシーを学習できるか？
• RQ2 他のエージェントがベースストック方針に従う場合、DQNエージェントのパフォーマンスは、ベースストック方針と比べてどの程度か？
• RQ3 事前に学習済みのDQNポリシーを、最小限の再学習で新しいエージェントやコスト構造に転送できるか、その範囲はどの程度か？
• RQ4 アーキテクチャの変更なしに、DQNアプローチがさまざまなパrameter値に対して効果を発揮するか？
• RQ5 DQNエージェントは、分散型で協調的かつ部分観測可能なサプライチェーンゲームにおいて、従来のポリシーを上回ることができるか？

主な発見

• 他のエージェントがベースストック方針に従う場合、DQNエージェントはほぼ最適なパフォーマンスを達成し、強力な学習能力を示している。
• 他のエージェントが人間のような非最適化された注文行動を示す場合、DQNはベースストック方針を著しく上回る。
• 転移学習アプローチにより、最小限の追加学習で新しいエージェントやコスト係数にポリシーを迅速に適応可能である。
• 本手法は、ビール・ゲームのすべてのパrameter値で有効であり、コスト係数やシステムパrameterに制限がない。
• DQNポリシーは事前に学習し、リアルタイムにデプロイ可能であり、ゲームプレイ中の低遅延意思決定を可能にする。
• 本手法は、他の分散型で部分観測可能かつ協調的なマルチエージェントサプライチェーン問題へ一般化可能である。