[论文解读] DECISIVE Test Methods Handbook: Test Methods for Evaluating sUAS in Subterranean and Constrained Indoor Environments, Version 1.1

Adam Norton, Reza Ahmadzadeh+19 more|arXiv (Cornell University)|Nov 1, 2022

Robotics and Sensor-Based Localization被引用 7

一句话总结

本手册提出了针对在无GPS信号、地下及受限室内环境中运行的小型无人机系统（sUAS）的标准化、真实场景测试方法。该方法专为MOUT场地或人工搭建的测试舱设计，通过一致的指标与流程，评估自主性、导航能力、避障性能以及人机交互表现，要求sUAS宽度不超过91厘米，并在无GPS条件下运行。

ABSTRACT

This handbook outlines all test methods developed under the Development and Execution of Comprehensive and Integrated Subterranean Intelligent Vehicle Evaluations (DECISIVE) project by the University of Massachusetts Lowell for evaluating small unmanned aerial systems (sUAS) performance in subterranean and constrained indoor environments, spanning communications, field readiness, interface, obstacle avoidance, navigation, mapping, autonomy, trust, and situation awareness. For sUAS deployment in subterranean and constrained indoor environments, this puts forth two assumptions about applicable sUAS to be evaluated using these test methods: (1) able to operate without access to GPS signal, and (2) width from prop top to prop tip does not exceed 91 cm (36 in) wide (i.e., can physically fit through a typical doorway, although successful navigation through is not guaranteed). All test methods are specified using a common format: Purpose, Summary of Test Method, Apparatus and Artifacts, Equipment, Metrics, Procedure, and Example Data. All test methods are designed to be run in real-world environments (e.g., MOUT sites) or using fabricated apparatuses (e.g., test bays built from wood, or contained inside of one or more shipping containers).

研究动机与目标

• 建立一个全面、标准化的评估框架，用于评估在无GPS信号、地下及受限室内环境中运行的小型无人机系统（sUAS）。
• 解决在复杂、狭小空间中sUAS性能缺乏一致、可重复且适用于真实场景的测试协议的问题。
• 支持在通信、自主性、导航、地图构建及态势感知等方面对sUAS能力进行可靠比较。
• 确保测试方法在真实环境或人工搭建的测试环境（如MOUT场地或集装箱测试舱）中具有实际可部署性。
• 为物理尺寸受限（≤91厘米宽）且在无外部导航信号条件下运行的sUAS定义明确的性能阈值与指标。

提出的方法

• 测试方法采用标准化格式：目的、概述、设备与实体、设备、指标、流程及示例数据。
• 所有测试均设计用于在真实环境（如MOUT场地）或人工搭建的测试装置（如木结构或集装箱）中执行。
• 该框架涵盖九个评估领域：通信、现场准备度、人机接口、避障、导航、地图构建、自主性、信任度及态势感知。
• 每项测试方法均明确指定可量化的性能指标，包括完成时间、路径精度、障碍物检测率及人机交互质量。
• 方法设计具备可重复性与可扩展性，支持在不同sUAS平台与测试条件下实现一致评估。
• 评估假设sUAS必须在无GPS条件下运行，且宽度不得超过91厘米，以确保可通过标准门框。

实验结果

研究问题

• RQ1 如何在无GPS信号、地下及受限室内环境中，一致且可靠地评估sUAS的性能？
• RQ2 需要哪些标准化测试方法，才能公平比较sUAS在自主性、导航及人机交互方面的能力？
• RQ3 为确保测试方法真实反映实际部署场景，必须施加哪些物理与运行约束？
• RQ4 如何定义测试指标，使其能真实反映复杂、动态的室内环境中的实际性能表现？
• RQ5 人工搭建的测试环境在实现可重复、可扩展且可公开发布的sUAS评估中发挥何种作用？

主要发现

• 本手册提供了一套全面、标准化的测试框架，用于评估sUAS在地下及受限室内环境中的表现，所有方法均针对真实环境或人工搭建的测试场景设计。
• 所有测试方法均采用一致的组成部分——目的、概述、设备与实体、设备、指标、流程及示例数据，确保可重复性与清晰性。
• 该评估框架支持在九个关键领域（包括自主性、避障及态势感知）进行评估，实现对系统的整体性比较。
• sUAS必须宽度≤91厘米且在无GPS条件下运行，确保与在狭小空间中实际部署的约束条件一致。
• 该方法已获准公开发布，适用于科研与实战评估场景。
• 该框架支持在不同平台与测试环境中对sUAS性能进行一致的基准测试，有助于追踪技术进展与技术对比。