[論文レビュー] Robot Inner Attention Modeling for Task-Adaptive Teaming of Heterogeneous Multi Robots

Chao Huang, Rui Liu|arXiv (Cornell University)|Jun 28, 2020

Reinforcement Learning in Robotics参考文献 35被引用数 4

ひとこと要約

本稿では、異種ロボットの柔軟でタスクに適応したチーム編成を可能にする、マルチエージェント強化学習フレームワークinnerATTを提案する。タスク要件とロボットの能力に基づいて、仲間エージェントに対する注目重みを動的に割り当てることで、単一タスク、二重タスク、ミックスドタスクのすべてにおいて、優れたチーム編成の正確性と適応性を達成し、ロボットの故障やタスク要件の変化が生じる動的環境でも、ベースライン手法を上回る性能を発揮する。

ABSTRACT

Attracted by team scale and function diversity, a heterogeneous multi-robot system (HMRS), where multiple robots with different functions and numbers are coordinated to perform tasks, has been widely used for complex and large-scale scenarios, including disaster search and rescue, site surveillance, and social security. However, due to the variety of the task requirements, it is challenging to accurately compose a robot team with appropriate sizes and functions to dynamically satisfy task needs while limiting the robot resource cost to a low level. To solve this problem, in this paper, a novel adaptive cooperation method, inner attention (innerATT), is developed to flexibly team heterogeneous robots to execute tasks as task types and environment change. innerATT is designed by integrating a novel attention mechanism into a multi-agent actor-critic reinforcement learning architecture. With an attention mechanism, robot capability will be analyzed to flexibly form teams to meet task requirements. Scenarios with different task variety ("Single Task", "Double Task", and "Mixed Task") were designed. The effectiveness of the innerATT was validated by its accuracy in flexible cooperation.

研究の動機と目的

• 変化するタスク要件と現実世界の制約下で、異種マルチロボットシステム（HMRS）において最適なロボットチームを動的に編成する課題に対処すること。
• 事前に定義されたチーム編成戦略や非適応型の強化学習手法に起因する限界を克服し、ロボットの故障やタスクの複雑さの変化に失敗しないこと。
• 注目メカニズムを用いて、リアルタイムでの協力可能性を基に、ロボットが仲間を自律的に選択できること。
• 災害救助や交通制御などの複雑で大規模なシナリオにおいて、チーム編成の適応性と耐障害性を向上させること。

提案手法

• マルチエージェントアクタークリティック強化学習フレームワークに、マルチヘッド自己注意機構を統合し、ロボット間の協力ダイナミクスをモデル化する。
• ロボットの観測値、状態、行動、および仲間との通信データを入力として、各潜在的仲間エージェントに対する注目重みを計算する。
• タスク固有のニーズに基づいて最適な協力戦略を選択するために、学習された注目重みを用いたQ値ネットワークを採用する。
• エンド・トゥ・エンドで深層強化学習を用いてモデルを訓練し、注目重みがデプロイメント中に自動的に学習されることを可能にする。
• 複数の注目ヘッドをサポートすることで、ロボット協力可能性の異なる側面を評価でき、チーム編成における柔軟性を高める。
• 故障した仲間に依存するのを減らし、信頼できる仲間に注目を集中させることで、ロボットの故障に対しても耐性を持つように設計されている。

実験結果

リサーチクエスチョン

• RQ1 異種ロボットは、タスクタイプや環境条件の変化に応じて、どのように最適なチームを動的に編成できるか？
• RQ2 注目メカニズムは、非選択的または固定重み戦略と比較して、チーム編成の適応性をどの程度向上させるか？
• RQ3 センサの劣化や部分的機能喪失などのロボット障害が発生しても、提案手法は高い性能を維持できるか？
• RQ4 異なるタスク間のミッション移行中に、注目メカニズムは行動適応をどのように支援するか？
• RQ5 注目ベースの選択は、ミックスドタスクシナリオにおけるチーム編成の正確性とリソース効率にどのような影響を与えるか？

主な発見

• innerATTは、単一タスク、二重タスク、ミックスドタスクを含むすべてのタスクタイプにおいて、ベースライン手法を著しく上回るチーム編成の正確性を達成した。
• 注目メカニズムにより、ミッション移行中に医療支援ロボットからナビゲーションロボットへの協力の焦点を動的にシフトできることが、図5の注目重みの変化によって裏付けられた。
• トレーニング中に注目重みのエントロピーが約1.02に低下し、安定的で選択的な注目学習がなされていることが示され、モデルが重要な仲間を特定できる能力を確認した。
• UAV参加率の比較において、innerATTはさまざまなタスク下で統計的に有意な差異（χ² < 3.84）を示さず、一貫性があり適応的なチーム編成性能を示した。
• 故障した仲間に依存を最小限に抑えることで、ロボットの故障に対しても耐性を示した。これは、信頼できる協力者に注目を集中させることで実現された。
• PPO-innerATTおよびTD-innerATTの変種は、タスク間でバランスの取れたUAV参加率を達成したのに対し、ベースライン手法は強いバイアスを示した。これは、公平性と適応性の向上を示している。