[論文レビュー] Learning of Coordination Policies for Robotic Swarms

Qiyang Li, Xintong Du+3 more|arXiv (Cornell University)|Sep 19, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 1被引用数 7

ひとこと要約

本論文では、集中型の協調ポリシーを分散型ポリシーに蒸留するディープラーニングアプローチを提案する。異なる可微分マルチエージェントニューラルネットワークを用いて、行動ポリシーと通信プロトコルを同時に学習する。この手法は、リソーチとピクチャーアサインメントのタスクにおいて、集中型ポリシーと同等の性能を達成しており、以前に解けなかった問題に対しても同様の結果を示す。また、方向の意図を伝える解釈可能な通信ベクトルを提供する。

ABSTRACT

Inspired by biological swarms, robotic swarms are envisioned to solve real-world problems that are difficult for individual agents. Biological swarms can achieve collective intelligence based on local interactions and simple rules; however, designing effective distributed policies for large-scale robotic swarms to achieve a global objective can be challenging. Although it is often possible to design an optimal centralized strategy for smaller numbers of agents, those methods can fail as the number of agents increases. Motivated by the growing success of machine learning, we develop a deep learning approach that learns distributed coordination policies from centralized policies. In contrast to traditional distributed control approaches, which are usually based on human-designed policies for relatively simple tasks, this learning-based approach can be adapted to more difficult tasks. We demonstrate the efficacy of our proposed approach on two different tasks, the well-known rendezvous problem and a more difficult particle assignment problem. For the latter, no known distributed policy exists. From extensive simulations, it is shown that the performance of the learned coordination policies is comparable to the centralized policies, surpassing state-of-the-art distributed policies. Thereby, our proposed approach provides a promising alternative for real-world coordination problems that would be otherwise computationally expensive to solve or intangible to explore.

研究の動機と目的

• 大規模なロボットスワームにおける分散型協調ポリシーの設計課題に取り組むこと。集中型制御は現実的ではない。
• 複雑なタスクにおける制御則や通信プロトコルの手動設計に依存しない学習ベースのアプローチを開発すること。
• 高性能な集中型ポリシーを、同種のロボットスワームにスケーラブルに適用可能な分散型ポリシーに移行できることを実現すること。
• 出現した通信プロトコルを分析し、将来の手動設計によるスワーム協調システムの知見を得ること。
• 有名なタスク（リソーチ）と新しい複雑なタスク（ピクチャーアサインメント）の両方で、本手法の有効性を示すこと。特に、以前に分散型解法が存在しなかったタスクに対しても有効である。

提案手法

• マルチステップ・マルチエージェントニューラルネットワーク（MSMANN）を用い、全エージェントのマルチステップ観測をそのマルチステップ行動にマッピングすることで、エンドツーエンドの誤差逆伝播を可能にする。
• 分散型ポリシーネットワークは、微分可能である深層ニューラルネットワークとして実装され、局所的観測と受信した通信ベクトルを処理し、行動と新しい通信信号を出力する。
• 通信ベクトルはMSMANN内の隠れ状態として扱われ、行動ポリシーと通信プロトコルの両方を同時に最適化するバックプロパゲーションを可能にする。
• 事前に設計された集中型ポリシーを教師データとして用いることで、報酬ベースの強化学習を用いずに、効率的な学習が可能になる。
• 固定サイズの入力・出力通信ベクトルにより、通信帯域幅を制御でき、学習された表現の分析も可能になる。
• 2〜20体のエージェントを含む、エージェント数が異なるタスクに本手法を適用し、スケーラビリティと一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングアプローチは、ロボットスワームの集中型協調ポリシーを、分散型ポリシーに効果的に移行できるか？
• RQ2 学習された通信プロトコルは集団行動にどのように寄与しているか。また、意味的に解釈可能か？
• RQ3 本手法は、既存の分散型ポリシーが存在しない複雑なタスク（例：ピクチャーアサインメント）において、集中型ポリシーと同等のパフォーマンスを達成できるか？
• RQ4 通信次元数がタスクパフォーマンスに与える影響は何か。また、効果的な協調に必要な最小通信容量は何か？
• RQ5 学習された分散型ポリシーは、異なるスワームサイズに一般化可能か。また、複雑な協調シナリオにおいてもロバスト性を保っているか？

主な発見

• リソーチタスクにおいて、さまざまなエージェント数の下で、学習された分散型ポリシーは集中型ポリシーと同等の性能を達成しており、最先端の分散制御則を上回った。
• ピクチャーアサインメントタスク（従来、分散型ポリシーで解けなかった）において、本手法は集中型ベースラインに近く、特に小スワーム（最大10エージェント）では優れた性能を示した。
• 通信ベクトルの次元を2次元から1次元に減らしたことで、性能が著しく低下した。これは、2次元通信が方向の意図を表現するために不可欠であることを示している。
• 学習されたポリシーの可視化により、通信ベクトルが「意図ベクトル」として機能し、エージェントをターゲット方向に誘導していることが明らかになった。行動確率は通信ベクトルの方向と一致していた。
• 本手法により、明示的なルールなしに、遠くのターゲットを追従する行動、複数のターゲットを探索する行動、割り当ての競合を解消する行動といった、自己組織的行動が出現した。
• 通信の分析から、エージェントが方向の傾向を通信で伝えることがわかった。これは、学習されたプロトコルが将来の手動設計の協調スキームのインスピレーションを与える可能性を示している。