[論文レビュー] DECISIVE Test Methods Handbook: Test Methods for Evaluating sUAS in Subterranean and Constrained Indoor Environments, Version 1.1

Adam Norton, Reza Ahmadzadeh+19 more|arXiv (Cornell University)|Nov 1, 2022

Robotics and Sensor-Based Localization被引用数 7

ひとこと要約

このハンドブックは、GPSなし、地下、および制限付き屋内環境における小型無人航空機システム（sUAS）を評価するための標準化された実世界のテスト手法を提示する。MOUT施設や人工テストベイで使用を想定しており、一貫した指標と手順を用いて自律性、ナビゲーション、障害物回避、人間-システム連携を評価する。sUASは91 cm未満の幅で、GPSなしで運用されなければならない。

ABSTRACT

This handbook outlines all test methods developed under the Development and Execution of Comprehensive and Integrated Subterranean Intelligent Vehicle Evaluations (DECISIVE) project by the University of Massachusetts Lowell for evaluating small unmanned aerial systems (sUAS) performance in subterranean and constrained indoor environments, spanning communications, field readiness, interface, obstacle avoidance, navigation, mapping, autonomy, trust, and situation awareness. For sUAS deployment in subterranean and constrained indoor environments, this puts forth two assumptions about applicable sUAS to be evaluated using these test methods: (1) able to operate without access to GPS signal, and (2) width from prop top to prop tip does not exceed 91 cm (36 in) wide (i.e., can physically fit through a typical doorway, although successful navigation through is not guaranteed). All test methods are specified using a common format: Purpose, Summary of Test Method, Apparatus and Artifacts, Equipment, Metrics, Procedure, and Example Data. All test methods are designed to be run in real-world environments (e.g., MOUT sites) or using fabricated apparatuses (e.g., test bays built from wood, or contained inside of one or more shipping containers).

研究の動機と目的

• GPSなし、地下、および制限付き屋内環境で運用する小型無人航空機システム（sUAS）の包括的で標準化された評価フレームワークを確立すること。
• 複雑で閉鎖的な空間におけるsUAS性能を評価するための一貫性があり、再現可能で実世界に適用可能なテストプロトコルの欠如に対処すること。
• 通信、自律性、ナビゲーション、マッピング、状況認識の分野におけるsUAS能力の信頼性のある比較を支援すること。
• テスト手法がMOUT施設やコンテナ型テストベイなどの実世界または人工テスト環境で実用的かつ実装可能であることを保証すること。
• 物理的に制限を受けている（91 cm以下）かつ外部ナビゲーション信号なしで運用するsUASの明確な性能閾値と指標を定義すること。

提案手法

• テスト手法は、標準化されたフォーマット（目的、概要、装置およびアーティファクト、機器、指標、手順、例示データ）を用いて構造化されている。
• すべてのテストは、実世界環境（例：MOUT施設）または人工的なテストセットアップ（例：木造構造物やコンテナ）で実施可能であるように設計されている。
• フレームワークは、通信、現地対応性、インターフェース、障害物回避、ナビゲーション、マッピング、自律性、信頼性、状況認識の9つのドメインでsUASを評価する。
• 各テスト手法は、完了時間、経路精度、障害物検出率、人間-システム連携の質といった測定可能な性能指標を明確に指定している。
• テスト手法は再現可能でスケーラブルであり、異なるsUASプラットフォームやテスト条件において一貫した評価を可能にする。
• 評価は、sUASがGPSなしで運用され、かつ標準的なドアの幅（91 cm）に収まるように制限されていると想定している。

実験結果

リサーチクエスチョン

• RQ1 GPSなし、地下、および制限付き屋内環境におけるsUAS性能を、どのように一貫的かつ信頼性高く評価できるか？
• RQ2 自律性、ナビゲーション、人間-システム連携の分野で、sUAS能力を公に公平に比較するための標準化されたテスト手法は何か？
• RQ3 テスト手法が実世界の展開シナリオを的確に反映するために、どのような物理的および運用上の制約を課すべきか？
• RQ4 複雑で動的な屋内環境における実世界の性能を反映するように、テスト指標をどのように定義すべきか？
• RQ5 人工テスト環境は、再現可能でスケーラブルかつ公開可能なsUAS評価を可能にするために果たす役割は何か？

主な発見

• ハンドブックは、地下および制限付き屋内環境におけるsUASを評価する包括的で標準化されたテストフレームワークを提供しており、すべての手法が実世界または人工テスト環境で実施可能であるように設計されている。
• すべてのテスト手法は、一貫した構成要素（目的、概要、装置、機器、指標、手順、例示データ）を備えており、再現性と明確性を保証している。
• 評価フレームワークは、自律性、障害物回避、状況認識を含む9つの主要ドメインでの評価を可能にし、包括的なシステム比較を可能にしている。
• sUASは91 cm未満の幅で、GPSなしで運用されなければならない。これは、閉鎖空間における実世界の展開制約に整合している。
• テスト手法は公にリリース可能であり、研究および運用評価の両方の場面で使用を想定している。
• フレームワークにより、異なるプラットフォームやテスト環境におけるsUAS性能の一貫したベンチマーク評価が可能となり、進捗の追跡や技術比較が促進される。