[論文レビュー] CoDe: A Cooperative and Decentralized Collision Avoidance Algorithm for Small-Scale UAV Swarms Considering Energy Efficiency

Shuangyao Huang, Haibo Zhang+1 more|arXiv (Cornell University)|Apr 19, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、小規模なUAVスワームにおける衝突回避とエネルギー効率の両方を共同で最適化する協調的で分散型のマルチエージェント強化学習アルゴリズムであるMACAを提案する。連続的アクション空間における新たな反事後的報酬割り当て方式を備えた集中型クリティックを用いることで、従来のE²Coopなどの手法と比較して平均報酬が16%向上、失敗率が90%低下、応答時間が99%以上速くなった。

ABSTRACT

This paper introduces a cooperative and decentralized collision avoidance algorithm (CoDe) for small-scale UAV swarms consisting of up to three UAVs. CoDe improves energy efficiency of UAVs by achieving effective cooperation among UAVs. Moreover, CoDe is specifically tailored for UAV's operations by addressing the challenges faced by existing schemes, such as ineffectiveness in selecting actions from continuous action spaces and high computational complexity. CoDe is based on Multi-Agent Reinforcement Learning (MARL), and finds cooperative policies by incorporating a novel credit assignment scheme. The novel credit assignment scheme estimates the contribution of an individual by subtracting a baseline from the joint action value for the swarm. The credit assignment scheme in CoDe outperforms other benchmarks as the baseline takes into account not only the importance of a UAV's action but also the interrelation between UAVs. Furthermore, extensive experiments are conducted against existing MARL-based and conventional heuristic-based algorithms to demonstrate the advantages of the proposed algorithm.

研究の動機と目的

• 計算資源および通信帯域が限られた小規模なUAVスワームにおいて、協調的でエネルギー効率の良い衝突回避を実現すること。
• 連続的アクション空間におけるマルチエージェント強化学習（MARL）の集中学習分散実行（CTDE）フレームワークにおける報酬割り当て問題を克服すること。
• リアルタイムで分散型意思決定を可能にし、グローバルな安全性とエネルギー効率を最大化する低複雑性でスケーラブルな手法を設計すること。
• リソース制約のあるUAVにとって現実的でない、集中型計画や高帯域幅のUAV間通信に依存することを減らすこと。
• サンプリングや近似を必要とせず、連続的アクション空間に直接適用可能なCOMA や Shapley とは異なった手法を提供すること。

提案手法

• UAVスワームの衝突回避を、安全とエネルギー効率をグローバル報酬関数に組み込んだ分散部分的に観測可能なマルコフ意思決定過程（Dec-POMDP）として定式化する。
• 共通のクリティックネットワークが連合観測とアクションを用いてグローバルリターンを計算する、マルチエージェント・アクター・集中型クリティックフレームワーク（MACA）を実装する。
• エージェントの状態とアクションを周辺化することで、連続的アクション空間における報酬割り当てのための低複雑性のアドバンテージ関数を計算する反事後的ベースラインを設計する。
• COMA や Shapley が使用する高コストのサンプリングや近似を避けるために、クリティックネットワークのフォワードパスを用いてアドバンテージ関数を計算する。
• 分散実行中のレアな失敗事例に対処するための緊急回避機構を統合し、耐障害性を向上させる。
• 学習および評価のための現実的なUAV動力学、障害物相互作用、通信制約をモデル化するためのカスタムシミュレーション環境、MACAEnvを開発する。

実験結果

リサーチクエスチョン

• RQ1 反事後的報酬割り当て機構を備えた集中型クリティックは、連続的アクション空間における分散型方策の学習に有効に機能するか？
• RQ2 提案手法の報酬割り当て方式は、COMA や Shapley と比較して、動的UAVスワームシナリオにおける学習効率、失敗率、応答時間の観点でどのように優れているか？
• RQ3 報酬関数にエネルギー効率を組み込むことで、UAVスワームの長期的パフォーマンスおよび運用持続可能性がどの程度向上するか？
• RQ4 提案手法は、従来手法および最先端のMARL手法と比較して、スワームサイズや障害物密度が変化する条件下でも効果を示すか？
• RQ5 緊急回避機構は、応答時間やエネルギー効率を劣化させることなく、分散実行における失敗率を顕著に低減できるか？

主な発見

• MACAは、2U1O、3U1O、4U2Oの各構成において、それぞれ2つの最先端MARLアルゴリズムと比較して平均報酬が16.61%、20.41%、19.22%高い。
• 4U2Oシナリオにおいて、MACAの失敗率は従来のE²Coopアルゴリズムと比較して90%低下し、20%から2%に減少した。
• MACAは、すべてのテストシナリオにおいてE²Coopと比較して応答時間を99%以上短縮し、アクターネットワークの1回のフォワードパスでほぼ即時の意思決定を可能にした。
• MACAは、すべてのシナリオにおいてMACA(noEAS)よりも低い失敗率を維持しており、3U1Oでは0%、4U2Oでは2%の失敗率を示し、緊急回避機構の有効性を裏付けた。
• 保守的な軌道計画によるエネルギー消費はE²Coopよりわずかに高いが、安全性と応答時間の大幅な向上を考えれば、そのトレードオフは正当化される。
• 反事後的報酬割り当て機構により、報酬寄与度の推定がより正確になり、ベースラインと比較してより強固で協調的な方策が得られた。