[論文レビュー] A reinforcement learning algorithm for building collaboration in multi-agent systems

Mehmet Emin Aydın, Ryan Fellows|arXiv (Cornell University)|Nov 28, 2017

Reinforcement Learning in Robotics参考文献 5被引用数 4

ひとこと要約

本稿では、多エージェントシステムにおける協調行動を可能にするために、粒子群最適化（PSO）に埋め込まれた新しいQ学習アルゴリズムを提案する。強化学習とPSOを組み合わせることで、エージェントは競争に基づく報酬を通じて近接維持と干渉回避を学習し、分離後の再接続に限界があるものの、シミュレーションにおいて安定した集団的運動を達成する。

ABSTRACT

This paper presents a proof-of concept study for demonstrating the viability of building collaboration among multiple agents through standard Q learning algorithm embedded in particle swarm optimisation. Collaboration is formulated to be achieved among the agents via some sort competition, where the agents are expected to balance their action in such a way that none of them drifts away of the team and none intervene any fellow neighbours territory. Particles are devised with Q learning algorithm for self training to learn how to act as members of a swarm and how to produce collaborative/collective behaviours. The produced results are supportive to the algorithmic structures suggesting that a substantive collaboration can be build via proposed learning algorithm.

研究の動機と目的

• 動的でリアルタイムな環境における複数エージェント間の協調を可能にする強化学習フレームワークの開発。
• 個々のエージェントが報酬をめぐって競争しつつも、群れの結束を維持する課題への対処。
• Q学習と粒子群最適化を統合し、自己学習と顕在的集団的行動を可能にする。
• 競争ベースの学習が、強固でスケーラブルな多エージェント協調を達成するかの妥当性の評価。
• 特にエージェントの分離後の再接続に関する現在の実装における制限の同定。

提案手法

• エージェントは報酬に基づいて最適な行動を学習できるよう、標準的なQ学習と状態行動価値の更新を用いる。
• エージェントはPSOフレームワーク内の粒子としてモデル化され、位置と速度が移動および相互作用を制御する。
• エージェントは周囲の仲間との近接を維持した場合に正の報酬を受け取り、範囲外に逸脱したり重複したりした場合には負の報酬を受ける。
• 学習プロセスは、近接維持と干渉回避のバランスを取る報酬関数によって駆動される。
• 長期的な行動最適化を可能にするために、割引率と学習率を用いてQ値を時間経過で更新する。
• NetLogoを用いたシミュレーションにより、複数イテレーションにわたりエージェントの行動を観察し、個々のエージェントごとの学習を追跡する。

実験結果

リサーチクエスチョン

• RQ1 PSOに埋め込まれたQ学習が、干渉を避ける一方で集団的結束を維持するためのエージェントの学習を効果的に可能にするか。
• RQ2 競争ベースの報酬構造が、多エージェントシステムにおける協調的行動の顕在にどのように影響するか。
• RQ3 現在のアルゴリズムがエージェントの分離後に接続を回復させる能力にどのような制限を示しているか。
• RQ4 個々のエージェントが、同期的で多エージェント環境において最適な意思決定をどれほど効果的に学ぶか。
• RQ5 学習率や報酬の大きさといったハイパーパrameterが、学習プロセスの収束性と安定性にどのように影響するか。

主な発見

• Q学習とPSOを統合したハイブリッドアルゴリズムにより、エージェントが近接を維持する学習が成功し、競争ベースの学習から協調的行動が顕在することを示した。
• 100イテレーションにわたりエージェントは一貫した学習行動を示し、干渉を回避し集団的結束を維持する正しい意思決定を多く行った。
• 全体的な成功にもかかわらず、近接範囲を逸脱したエージェントは再接続に失敗し、性能が著しく低下した状態が長期間にわたり続いた。
• 複数のエージェントが同時に移動した場合に同期の問題が発生し、周囲のエージェントの行動を予測できないために、意図しない近接衝突が生じた。
• 報酬値を5から0.5に低下させても学習結果に顕著な影響がなく、短期間のシミュレーションでは報酬の大きさに敏感でないことが示唆された。
• 分離後の再接続メカニズムの欠如が、将来的に経路探索や探索アルゴリズムの統合が必要な重要な制限要因であると特定された。