[論文レビュー] ScheduleNet: Learn to solve multi-agent scheduling problems with reinforcement learning

Junyoung Park, Sanjar Bakhtiyar+1 more|arXiv (Cornell University)|Jun 6, 2021

Reinforcement Learning in Robotics参考文献 39被引用数 22

ひとこと要約

ScheduleNet は強化学習に基づく分散型スケジューリング手法であり、マルチエージェントスケジューリング問題をエピソード的マケスパン報酬を持つ部分的マーカフ・マークフ・プロセス（semi-MDP）として定式化する。エージェント・タスク関係をグラフ表現として捉えるためにタイプに依存するグラフアテンションネットワーク（TGA）を用い、逐次的タスク割り当てをガイドする共有ポリシーを学習する。mTSPおよびJSPベンチマークにおいて、ヒューリスティック法および深層強化学習（deep RL）のベースラインを上回り、特に大規模な設定において優れた性能を示す。

ABSTRACT

We propose ScheduleNet, a RL-based real-time scheduler, that can solve various types of multi-agent scheduling problems. We formulate these problems as a semi-MDP with episodic reward (makespan) and learn ScheduleNet, a decentralized decision-making policy that can effectively coordinate multiple agents to complete tasks. The decision making procedure of ScheduleNet includes: (1) representing the state of a scheduling problem with the agent-task graph, (2) extracting node embeddings for agent and tasks nodes, the important relational information among agents and tasks, by employing the type-aware graph attention (TGA), and (3) computing the assignment probability with the computed node embeddings. We validate the effectiveness of ScheduleNet as a general learning-based scheduler for solving various types of multi-agent scheduling tasks, including multiple salesman traveling problem (mTSP) and job shop scheduling problem (JSP).

研究の動機と目的

• mTSP や JSP などの多様なマルチエージェントスケジューリング問題（mSPs）に一般に適用可能なリアルタイムスケジューラの開発を目的とする。
• 全エージェントが分散的かつ協調的に連携し、総完了時間（マケスパン）を最小化する意思決定を可能にする。
• 再訓練を必要とせず、エージェント数やタスク数の変動に一般化可能なスケーラブルなソリューションの設計を目的とする。
• 報酬の割り当て（credit assignment）と報酬の変動性の問題を克服し、安定した学習スキームを用いてマルチエージェント強化学習における学習を安定化させる。
• 既存のヒューリスティック法および深層強化学習手法と比較して、大規模な mSPs において優れた性能を示すことを実証すること。

提案手法

• mSPs をエピソード的報酬（マケスパン）と分散型ポリシー学習を持つ部分的マーカフ・マークフ・プロセス（semi-MDP）として定式化する。
• スケジューリング状態をエージェント・タスクグラフとして表現し、複雑な相互依存関係を捉える。
• タイプに依存するグラフアテンション（TGA）を用いて、エージェントノードとタスクノードを区別しながら、グラフからの関係性埋め込みを抽出する。
• ノード埋め込みを用いて割り当て確率を計算し、逐次的タスク割り当て意思決定をガイドする。
• スパースでエピソード的なチーム報酬の下で学習を安定化させるために、独自の強化学習（RL）訓練スキームを採用する。
• すべてのエージェントに共通のポリシーを訓練することで、より大きな問題インスタンスへの転移可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの共有で分散型のポリシーが、多様なマルチエージェントスケジューリング問題を効果的に解けるか？
• RQ2 エピソード的でスパースなチーム報酬（例：マケスパン）の下で、協調的行動はどのように学習可能か？
• RQ3 グラフベースの強化学習アプローチは、mTSP や JSP といった異なる mSPs 間で一般化可能か？
• RQ4 既存のベースラインと比較して、提案手法は大規模な mSPs にどのようにスケーリングするか？
• RQ5 高い分散性と組み合わせ的性質を持つ mSPs において、安定した学習を可能にする訓練スキームは何か？

主な発見

• ScheduleNet は、mTSP および JSP ベンチマークの両方において、ヒューリスティックベースラインおよび既存の深層強化学習手法を上回る性能を達成した。
• 大規模な mSP インスタンスにおいても優れたマケスパン性能を達成し、スケーラビリティを示した。
• 提案された訓練スキームは、標準的な PPO と比較して学習安定性と漸近的性能を顕著に向上させた。
• GN-PPO（PPOに基づくベースライン）は、価値関数のターゲットの高い変動性とベルマン誤差の伝搬により、ScheduleNet に比べて性能が劣った。
• タイプに依存するグラフアテンション機構は、エージェント・タスクグラフ内の関係構造を効果的に捉え、より優れた意思決定を可能にした。
• 共有で分散型ポリシーのアーキテクチャのおかげで、ScheduleNet は未観測の問題サイズに対しても良好な一般化性能を示した。