[論文レビュー] A Deep Q-Network for the Beer Game: A Deep Reinforcement Learning algorithm to Solve Inventory Optimization Problems

Afshin Oroojlooyjadid, Mohammadreza Nazari+2 more|arXiv (Cornell University)|Aug 20, 2017

Supply Chain and Inventory Management参考文献 44被引用数 24

ひとこと要約

本稿では、分散型でマルチエージェントなサプライチェーン問題であるビールゲームにおける在庫意思決定を最適化するため、形状化報酬を用いた深層Qネットワーク（SRDQN）強化学習アルゴリズムを提案する。この手法は、需要分布の事前知識がなくても近似的に最適な方策を学習でき、チームメイトが現実的で人間らしい行動を取る状況でもベースストック方策を上回り、10倍速い学習速度でエージェント間での迅速な転移学習を可能にする。

ABSTRACT

The beer game is a widely used in-class game that is played in supply chain management classes to demonstrate the bullwhip effect. The game is a decentralized, multi-agent, cooperative problem that can be modeled as a serial supply chain network in which agents cooperatively attempt to minimize the total cost of the network even though each agent can only observe its own local information. Each agent chooses order quantities to replenish its stock. Under some conditions, a base-stock replenishment policy is known to be optimal. However, in a decentralized supply chain in which some agents (stages) may act irrationally (as they do in the beer game), there is no known optimal policy for an agent wishing to act optimally. We propose a machine learning algorithm, based on deep Q-networks, to optimize the replenishment decisions at a given stage. When playing alongside agents who follow a base-stock policy, our algorithm obtains near-optimal order quantities. It performs much better than a base-stock policy when the other agents use a more realistic model of human ordering behavior. Unlike most other algorithms in the literature, our algorithm does not have any limits on the beer game parameter values. Like any deep learning algorithm, training the algorithm can be computationally intensive, but this can be performed ahead of time; the algorithm executes in real time when the game is played. Moreover, we propose a transfer learning approach so that the training performed for one agent and one set of cost coefficients can be adapted quickly for other agents and costs. Our algorithm can be extended to other decentralized multi-agent cooperative games with partially observed information, which is a common type of situation in real-world supply chain problems.

研究の動機と目的

• 意思決定が非合理的または予測不能なエージェントが関与する分散型サプライチェーンにおいて、最適方策の欠如を解消すること。
• 既知の需要分布やコスト構造を仮定せずに、最適な注文数量を学習できるデータ駆動型強化学習手法を開発すること。
• 訓練済みエージェントを、異なるコスト係数や行動空間を持つ新たなエージェントや設定に迅速に適応できる、効率的な転移学習を可能にすること。
• シミュレーションおよび実世界の設定において、ベースストック方策や人間らしい注文行動と比較してのパフォーマンスを評価すること。
• 複雑な現実世界のサプライチェーン協調問題に深層強化学習を適用する可能性を示すこと。

提案手法

• SRDQNアルゴリズムは、深層Qネットワーク（DQN）に報酬形状化を組み合わせることで、マルチエージェントで協力的な環境であるビールゲームにおける学習を支援する。
• アルゴリズムは深層ニューラルネットワークを用いてQ関数を近似し、状態-行動ペアから累積報酬の期待値をマッピングする。
• 状態表現には在庫レベル、バックオーダー、注文履歴が含まれ、行動空間は注文数量で定義される。
• 報酬形状化は、コスト最小化を促進し、とくに報酬が疎な環境における学習の安定性を高めるために適用される。
• 転移学習は、ソースエージェントの事前学習済みモデルをターゲットエージェントの方策ネットワークに初期化することで実装され、学習可能なパラメータ数を削減し、収束を加速する。
• 学習安定性を向上させるために、経験リプレイとターゲットネットワークを用い、ハイパーパrameterはグリッドサーチで最適化される。

実験結果

リサーチクエスチョン

• RQ1 他のエージェントがベースストック方策または人間らしい注文行動を取る場合、深層強化学習エージェントはビールゲームで近似的に最適な在庫方策を学習できるか？
• RQ2 チームメイトが非合理的または非最適な注文戦略を取る場合、SRDQNアルゴリズムはベースストック方策と比較してどの程度のパフォーマンスを示すか？
• RQ3 新しいエージェントやコスト構造に適応する際、転移学習が学習時間をどの程度短縮できるか？
• RQ4 コスト係数、行動空間、エージェントの役割に変更が加わった場合でも、訓練済みSRDQNエージェントはどの程度の耐性を示すか？
• RQ5 再訓練を完全から行わずに、異なるサプライチェーン構成に一般化して適用可能か？

主な発見

• チームメートがベースストック方策に従う場合、SRDQNエージェントは最適なベースストックからベースストック（BS-BS）方策のコストの2.31%以内に到達する。
• チームメートがより現実的で人間らしい注文モデル（Strm-BS）を使用する場合、SRDQNエージェントはベースストック方策と比較してコストを11.65%削減する。
• 転移学習により、初期化から学習を開始する場合と比較して、学習時間を最大46.89%短縮できる。また、ソースとターゲットエージェントのコスト係数や行動空間が異なる場合でも、BS-BS方策との差は12.58%にとどまる。
• 訓練済みSRDQNエージェントは、保有コストおよび不足コスト係数の変更に対し耐性を示し、感度分析においても近似的に最適なパフォーマンスを維持する。
• 転移学習の過程で安定的かつ高速な収束が達成され、学習ノイズが低く、近似的に最適なコスト水準に迅速に到達する。
• SRDQNエージェントは、オンラインビールゲームプラットフォームに実装されており、4,000人以上のプレイヤーが17,000回以上利用し、実世界での適用可能性が実証された。