[論文レビュー] AutoSOS: Towards Multi-UAV Systems Supporting Maritime Search and Rescue with Lightweight AI and Edge Computing

Jorge Peña Queralta, Jenni Raitoharju+3 more|arXiv (Cornell University)|May 7, 2020

Underwater Vehicles and Communication Systems参考文献 34被引用数 23

ひとこと要約

AutoSOSは、軽量AIとエッジコンピューティングを統合した自律的でマルチUAVシステムを救助艇と連携させることで、海事救難（SAR）の効率を向上させる。このシステムはリアルタイムのセンサーフュージョン、適応的オブジェクト検出、および通信のためのマルチホップとアクティブビジョンを目的とした動的UAV再構成を可能にし、複雑な分析を艇上の計算リソースにオフロードすることで、状況認識能力を顕著に向上させる。

ABSTRACT

Rescue vessels are the main actors in maritime safety and rescue operations. At the same time, aerial drones bring a significant advantage into this scenario. This paper presents the research directions of the AutoSOS project, where we work in the development of an autonomous multi-robot search and rescue assistance platform capable of sensor fusion and object detection in embedded devices using novel lightweight AI models. The platform is meant to perform reconnaissance missions for initial assessment of the environment using novel adaptive deep learning algorithms that efficiently use the available sensors and computational resources on drones and rescue vessel. When drones find potential objects, they will send their sensor data to the vessel to verity the findings with increased accuracy. The actual rescue and treatment operation are left as the responsibility of the rescue personnel. The drones will autonomously reconfigure their spatial distribution to enable multi-hop communication, when a direct connection between a drone transmitting information and the vessel is unavailable.

研究の動機と目的

• 海事救難（SAR）作業を支援する自律的でマルチUAVシステムの開発により、高価なヘリコプターへの依存を低減する。
• 動的で変化しやすい海事環境における計算制約と環境的制約のもとで、リアルタイムの認識と協調制御を実現する課題に対処する。
• 埋め込みエッジデバイス上で実行可能な軽量ディープラーニングモデルを用いて、効率的で低遅延のオブジェクト検出とセンサーフュージョンを実現する。
• マルチホップ通信と動的UAVフォーメーション制御を実装することで、接続性を維持し、監視カバレッジを最適化する。
• UAVと救助艇間で異種センサー（可視光、赤外線、LiDAR）のデータを統合し、検出の正確性と信頼性を向上させる。

提案手法

• リアルタイムのオブジェクト検出とセグメンテーションを実現するため、UAVおよび救助艇に軽量でエッジ最適化されたディープラーニングモデルを展開する。
• 大規模モデルを効率的でリアルタイム推論に適したモデルに圧縮するため、ニューラルネットワークの蒸留と知識移譲を用いる。
• 同じUAV上の複数のセンサー（例：可視光カメラと赤外線カメラ）からのデータを統合するインラインデバイスマルチモーダルフュージョンを実装する。
• 救助艇のLiDAR点群データとUAVの可視光データを統合するインターデバイスマルチモーダルフュージョンを適用し、認識精度を向上させる。
• リアルタイムの計算負荷と利用可能なリソースに基づいてモデルの複雑さを調整する動的推論グラフ適応を開発する。
• 検出優先度、通信要件、ターゲット密度に基づいてUAVの空間的配置を再構成する分散協調制御およびフォーメーション制御アルゴリズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、UAVおよび救助艇の埋め込みエッジデバイスに軽量AIモデルを効果的にデプロイし、海事SARにおけるリアルタイムオブジェクト検出を実現できるか？
• RQ2 計算負荷を最小限に抑えながら検出精度を向上させるために、インラインおよびインターデバイスのマルチモーダルフュージョン戦略は何か？
• RQ3 直接視線が遮断された場合でも、UAVが自律的かつ動的にフォーメーションを再構成することで、マルチホップ通信を維持し、監視を最適化できるか？
• RQ4 どのようにしてアクティブビジョンとトラッキングメカニズムを実装し、緊急性の高いまたは信頼性の高い検出を優先的に協調的に調査できるか？
• RQ5 分散協調アルゴリズムは、異種マルチロボットシステム全体において、計算負荷、通信帯域幅、検出精度のバランスをどのようにとれるか？

主な発見

• AutoSOSプラットフォームは、モデル蒸留と動的グラフ適応を用いることで、埋め込みUAVおよび艇上ハードウェア上でリアルタイムで軽量AI推論を実現した。
• 可視光と赤外線カメラのデータをインラインで統合することで、特に視界不良や悪天候下でもオブジェクト検出の信頼性が向上した。
• 救助艇のLiDARデータとUAVの可視光データを統合することで、3次元シーン理解とオブジェクト位置特定の正確性が向上した。
• 検出優先度と通信要件に基づく動的UAV再構成により、直接視線がなくても信頼性の高いマルチホップ通信が実現され、データ送信が継続された。
• 本システムはアリカンテ救助活動グループと協働して実地試験を実施し、観光客が多く集まる海岸域における実運用環境での適用可能性が検証された。
• プラットフォームアーキテクチャはスケーラブルかつ他の環境（山岳地帯やフィールドベースの捜索作業など）にも適応可能であり、海事SARにとどまらず、多様な用途に応用可能である。