[論文レビュー] Inner Attention Modeling for Flexible Teaming of Heterogeneous Multi Robots Using Multi-Agent Reinforcement Learning.

Chao Huang, Rui Liu|arXiv (Cornell University)|Jun 28, 2020

Evolutionary Game Theory and Cooperation被引用数 2

ひとこと要約

本稿では、動的環境下での柔軟かつ適応的なチームワークを可能にする、内側の注意メカニズムを備えた新規なマルチエージェント強化学習フレームワーク、innerATTを提案する。異種多ロボットシステム（HMRS）において、タスクとロボットの利用可能性の変化に応じて動的にチーム能力を割り当てることで、救助活動のような動的シナリオにおける協調効率の向上とリソース消費の低減を実現する。

ABSTRACT

With the advantages of member diversity and team scale, heterogeneous multi-robot systems (HMRS) are widely used in complex scenarios, including disaster search and rescue, site surveillance, and traffic control. However, due to the of requirements, it is still challenging to accurately allocate limited team capability to satisfy various needs effectively. In this paper, a novel adaptive cooperation method, inner attention innerATT is developed to flexibly team heterogeneous robots to execute tasks as needs change. innerATT is designed based on an attention mechanism and a multi-agent actor-critic reinforcement learning algorithm. We briefly validate how the inner attention mechanism can be exploited to enable flexible and robust decision making in guiding cooperation. The results, in two designed scenarios task variety and robot availability variety, show that innerATT can enable flexible cooperation and reduce resource consumption in search and rescue tasks.

研究の動機と目的

• 変化するタスクとロボットの利用可能性の条件下で、限られた能力を動的に割り当てるという、異種多ロボットシステム（HMRS）における課題に対処すること。
• 自然災害の捜索救助のような複雑で現実的なシナリオにおけるチームワークの柔軟性と耐障害性を向上させること。
• 環境的要請に応じてリアルタイムでチーム編成と役割を適応させることで、効率的な協調を実現すること。
• 知的な能力割り当てを通じて、タスク実行中のリソース消費を低減すること。
• 多様なロボットタイプとタスク要件をサポートするスケーラブルで適応的な協調メカニズムの開発

提案手法

• 相互ロボット間の依存関係をモデル化し、関連するチームメンバーを優先するため、マルチエージェントのアクタ・クリティック強化学習フレームワークに内側の注意メカニズムを統合する。
• 注目重みを用いて、各ロボットの能力が現在のタスクに対してどの程度関連しているかを動的に評価し、文脈に応じたチーム編成意思決定を可能にする。
• 局所的観測を用いた集中型クリティックを用いて方策ネットワークを訓練することで、信用割り当てを実現しつつ部分観測性を維持する。
• 注目メカニズムを、補完的能力を持つロボットに注目するように設計し、協調の効率を向上させる。
• ポリシー勾配法を用いてポリシーをエンドツーエンドで最適化し、注目ゲートが各エージェントの行動への寄与度を調整する。
• リアルタイムで注目重みを再評価することで、タスク要件やロボットの利用可能性の変化に適応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 動的環境下で、変化するタスク要件に適応するため、異種ロボットをどのように柔軟にチーム編成すればよいか？
• RQ2 内側の注意メカニズムは、マルチロボットシステムにおける協調効率の向上とリソース消費の低減に、どの程度寄与するか？
• RQ3 提案手法は、ロボットの利用可能性やタスクの多様性が変化する状況でも、頑健な性能を維持できるか？
• RQ4 複雑なシナリオにおいて、注目ベースのメカニズムは、固定またはヒューリスティックなチーム編成戦略と比べてどのように差をつけるか？
• RQ5 内側の注意メカニズムは、マルチエージェント設定における学習の安定性とスケーラビリティにどのような影響を与えるか？

主な発見

• innerATTは、タスクとロボットの利用可能性に応じて動的にチーム編成を調整することで、異種多ロボットシステムにおける柔軟で適応的なチーム編成を実現する。
• 注目駆動の協調によって能力割り当てを最適化することで、捜索救助タスクにおけるリソース消費を低減する。
• タスクの多様性が著しいシナリオにおいても、リアルタイムでのチーム再構成が可能であるため、innerATTは高いタスク完了率を維持する。
• 内側の注意メカニズムにより、各タスクに対して最も関連性の高いロボットに注目することで、意思決定の耐障害性が向上する。
• ベースライン手法と比較して、特に動的で不確実な環境において協調効率が向上することが実証された。
• フレームワークは、ロボットやタスクの多様な構成に対してもスケーラビリティと適応性を示した。