[論文レビュー] Multi-Agent Reinforcement Learning with Shared Resources for Inventory Management

Yuandong Ding, Mingxiao Feng+8 more|arXiv (Cornell University)|Dec 15, 2022

Supply Chain and Inventory Management被引用数 7

ひとこと要約

本稿では、在庫容量などの共有リソースを有する在庫管理のための文脈に配慮したマルチエージェント強化学習アルゴリズム、CD-PPOを提案する。共有文脈変数を用いてエージェント間の相互作用をモデル化し、文脈に依存する局所シミュレータを用いた分散学習を可能にすることで、大規模なSKU環境において標準的なマルチエージェント強化学習手法よりも優れたサンプル効率と性能を達成する。

ABSTRACT

In this paper, we consider the inventory management (IM) problem where we need to make replenishment decisions for a large number of stock keeping units (SKUs) to balance their supply and demand. In our setting, the constraint on the shared resources (such as the inventory capacity) couples the otherwise independent control for each SKU. We formulate the problem with this structure as Shared-Resource Stochastic Game (SRSG)and propose an efficient algorithm called Context-aware Decentralized PPO (CD-PPO). Through extensive experiments, we demonstrate that CD-PPO can accelerate the learning procedure compared with standard MARL algorithms.

研究の動機と目的

• 数千のSKUが在庫容量などの共有リソースをめぐって競合する大規模な在庫管理の課題に対処すること。
• マルチエージェント強化学習における独立学習および集中型コントローラーの非定常性とスケーラビリティの問題を克服すること。
• 共同状態/行動空間を必要とせず、共有文脈変数を通じてグローバルな協調性を維持する実用的で分散型の学習パラダイムを開発すること。
• エージェント間の相互作用が共有リソース制約のみで媒介される現実世界の在庫システムにおいて、効率的でスケーラブルな学習を可能にすること。

提案手法

• エージェントが共有リソース制約のみを通じて相互作用する、共有リソース確率ゲーム（SRSG）として在庫管理問題を定式化する。
• 共有リソースの集団的状態（例：利用可能な在庫容量）を表す文脈変数を導入し、これを各エージェントの方策および価値ネットワークの入力として使用する。
• サンプルされた文脈軌跡に基づいて局所シミュレータを条件づけることでエージェントの学習を分離し、グローバルな整合性を保ちながら独立した方策更新を可能にする。
• 集中型コントローラーを回避し、計算負荷を低減する文脈に配慮した方策および価値ネットワークを用いた独立学習アルゴリズムとしてCD-PPOを設計する。
• 2段階の反復的学習プロセスを採用する：まず共同シミュレータから文脈ダイナミクスをサンプリングし、次に文脈に依存する局所データを用いて各エージェントの方策を更新する。
• 文脈が与えられた場合のエージェントダイナミクスの独立性を活用することで、非定常性を回避し、大規模な設定でも学習の安定性を維持する。

実験結果

リサーチクエスチョン

• RQ1 集中型コントローラーに依存せずに、共有リソース制約を持つエージェントを分散型マルチエージェント強化学習アルゴリズムが効果的に協調できるか。
• RQ2 文脈変数をどのように活用することで、在庫管理におけるエージェント方策の分離とグローバルな協調性の維持を両立できるか。
• RQ3 文脈に配慮した学習は、大規模な在庫システムにおける標準的なマルチエージェント強化学習ベースラインと比較して、サンプル効率および性能を向上させるか。
• RQ4 提案手法は在庫管理を越えて、共有予算構造を有するその他の現実世界の応用分野（例：ポートフォリオ管理、スマートグリッドスケジューリング）へ一般化可能か。

主な発見

• CD-PPOは、標準的なマルチエージェント強化学習アルゴリズムと比較して学習プロセスを顕著に高速化し、大規模な在庫管理におけるサンプル効率の向上を示した。
• 複数のベンチマーク設定において、合計利益およびサービス水準の両面で、最先端のマルチエージェント強化学習ベースラインを上回る性能を達成した。
• 方策を文脈に依存させる仕組みにより、独立学習に内在する非定常性問題が緩和され、より安定した学習が実現した。
• 本アルゴリズムは数千のSKUにまでスケーリング可能であり、現実世界の在庫システムに適した大規模な在庫管理に適している。
• 実験結果により、文脈に配慮した設計が集中型コントローラーの計算コストを負担せずに効果的な協調性を実現できることを検証した。
• 本手法は在庫管理を越えて一般化可能であり、共有予算を有するポートフォリオ管理やスマートグリッドスケジューリングなどへの応用可能性を示した。