[論文レビュー] Leveraging Statistical Multi-Agent Online Planning with Emergent Value Function Approximation

Thomy Phan, Lenz Belzner+2 more|arXiv (Cornell University)|Apr 17, 2018

Reinforcement Learning in Robotics参考文献 6被引用数 5

ひとこと要約

本論文では、強化学習を用いて実行中の発生的システム行動からオンラインで価値関数を学習することにより、確率的環境における統計的マルチエージェントオンライン計画を向上させるEVADEという手法を提案する。このグローバル価値関数をローカル計画に統合することで、性能と効率が向上し、同じ計算予算のもとで、短い計画ホライズンでも長いホライズンに匹敵またはそれを上回る性能を達成できるようになった。複雑なスマートファクトリー環境において、その有効性が示された。

ABSTRACT

Making decisions is a great challenge in distributed autonomous environments due to enormous state spaces and uncertainty. Many online planning algorithms rely on statistical sampling to avoid searching the whole state space, while still being able to make acceptable decisions. However, planning often has to be performed under strict computational constraints making online planning in multi-agent systems highly limited, which could lead to poor system performance, especially in stochastic domains. In this paper, we propose Emergent Value function Approximation for Distributed Environments (EVADE), an approach to integrate global experience into multi-agent online planning in stochastic domains to consider global effects during local planning. For this purpose, a value function is approximated online based on the emergent system behaviour by using methods of reinforcement learning. We empirically evaluated EVADE with two statistical multi-agent online planning algorithms in a highly complex and stochastic smart factory environment, where multiple agents need to process various items at a shared set of machines. Our experiments show that EVADE can effectively improve the performance of multi-agent online planning while offering efficiency w.r.t. the breadth and depth of the planning process.

研究の動機と目的

• 不確実性下でのマルチエージェントオンライン計画における計算リソースの制限という課題に対処すること。
• 事前に計算された価値関数がなくても、ローカル計画エージェントがグローバルな影響を考慮できるようにすること。
• システム全体の経験に基づいて実行時中に価値関数を学習する、モデルフリーで適応可能な手法を開発すること。
• 共有リソースと複数エージェントを有する高確率的で複雑なスマートファクトリー環境でこの手法を評価すること。
• EVADEが計画の性能と効率を向上させること、特に計算予算が制限される状況で顕著であることを示すこと。

提案手法

• EVADEは、実行中の発生的システム行動に基づいて、オンライン強化学習を用いてグローバル価値関数を近似する。
• 得られた価値関数は、マルチエージェントシステムにおけるローカル計画意思決定をガイドし、ポリシーの質を向上させる。
• 既存の統計的マルチエージェントオンライン計画アルゴリズム（DICEおよびDOOLP）と統合することで、探索の効率を向上させる。
• 高い分岐係数と複雑な協調を模倣するため、確率的行動結果と共有マシンを備えたスマートファクトリー環境を設計した。
• エージェント間の相互作用から得た経験を用いて、時系列差分学習により価値関数を段階的に更新する。
• 計算予算が制限された中で計画が実行され、価値関数がより有望な行動シーケンスの優先順位付けを助ける。

実験結果

リサーチクエスチョン

• RQ1 オンライン価値関数近似は、確率的領域におけるマルチエージェントオンライン計画の性能を向上させることができるか？
• RQ2 厳密な計算制約のもとで、学習された価値関数は、制限された計画深さと幅をどれだけ補うことができるか？
• RQ3 計算予算が制限される状況で、価値関数なしのベースライン計画と比較してEVADEはどのように異なるか？
• RQ4 EVADEは、短い計画ホライズンが長いホライズンに匹敵する性能を達成できるようにするか？
• RQ5 高い分岐係数と複数エージェントを有する環境でも、この手法は効果的にスケーリング可能か？

主な発見

• EVADEは性能を顕著に向上させる：同じ計算予算のもとで、EVADEを搭載したDICE（h=6）は90.8％の成功率を達成し、ベースライン（69.7％）を上回った。
• 計算予算が384のとき、EVADEを搭載したh=2の設定が、h=6の長いホライズン計画と同等またはそれを上回る性能を示した。特に8エージェント設定で顕著であった。
• EVADEを搭載したDOOLP（h=4）は91.3％の成功率を達成し、ベースライン（71.6％）を上回った。また、限られた計画深さでも顕著な向上が見られた。
• 8エージェント設定での性能の停滞は、膨大なポリシー空間と限られた予算に起因しており、計算量の増加に伴い性能向上が見込まれることを示唆した。
• 価値関数のおかげで、短いホライズン（h=2）が長いホライズン（h=6）を上回る性能を達成できた。これは、より良いガイドラインのおかげで深さのない探索が可能になったためである。
• 計算コストを増加させることなく、探索の広がりと深さの両方を向上させることで、計画の効率性が実証された。