[논문 리뷰] DECISIVE Test Methods Handbook: Test Methods for Evaluating sUAS in Subterranean and Constrained Indoor Environments, Version 1.1

Adam Norton, Reza Ahmadzadeh외 19명|arXiv (Cornell University)|2022. 11. 01.

Robotics and Sensor-Based Localization인용 수 7

한 줄 요약

이 설명서는 GPS 없이, 지하 또는 제한된 실내 환경에서 작동하는 소형 무인 항공 시스템(sUAS)을 평가하기 위한 표준화된 실생활 테스트 방법을 제시한다. MOUT 시설이나 제작된 테스트 베이에서 사용하기 위해 설계된 이 방법들은 자율주행, 항법, 장애물 회피, 인간-시스템 상호작용을 일관된 지표와 절차로 평가하며, sUAS는 91cm 이하의 너비여야 하며 GPS 없이 작동해야 한다.

ABSTRACT

This handbook outlines all test methods developed under the Development and Execution of Comprehensive and Integrated Subterranean Intelligent Vehicle Evaluations (DECISIVE) project by the University of Massachusetts Lowell for evaluating small unmanned aerial systems (sUAS) performance in subterranean and constrained indoor environments, spanning communications, field readiness, interface, obstacle avoidance, navigation, mapping, autonomy, trust, and situation awareness. For sUAS deployment in subterranean and constrained indoor environments, this puts forth two assumptions about applicable sUAS to be evaluated using these test methods: (1) able to operate without access to GPS signal, and (2) width from prop top to prop tip does not exceed 91 cm (36 in) wide (i.e., can physically fit through a typical doorway, although successful navigation through is not guaranteed). All test methods are specified using a common format: Purpose, Summary of Test Method, Apparatus and Artifacts, Equipment, Metrics, Procedure, and Example Data. All test methods are designed to be run in real-world environments (e.g., MOUT sites) or using fabricated apparatuses (e.g., test bays built from wood, or contained inside of one or more shipping containers).

연구 동기 및 목표

• GPS 없이 지하 및 제한된 실내 환경에서 작동하는 소형 무인 항공 시스템(sUAS)을 위한 종합적이고 표준화된 평가 프레임워크를 수립하기 위해.
• 복잡하고 제한된 공간에서 sUAS 성능에 대한 일관되고 반복 가능하며 실생활 적용 가능한 테스트 프로토콜의 부족을 해결하기 위해.
• 통신, 자율주행, 항법, 지ap핑, 상황 인식 능력 등 다양한 분야에서 sUAS 능력을 신뢰성 있게 비교할 수 있도록 지원하기 위해.
• 실생활 또는 제작된 테스트 환경(예: MOUT 시설 또는 컨테이너 테스트 베이)에서 실용적이고 구현 가능한 테스트 방법을 확보하기 위해.
• 물리적으로 제약을 받는(sUAS가 91cm 이하로 제한됨) 및 외부 항법 신호 없이 작동하는 sUAS에 대해 명확한 성능 기준과 지표를 정의하기 위해.

제안 방법

• 모든 테스트 방법은 표준화된 형식으로 구성되며, 목적(Purpose), 개요(Summary), 기구 및 물품(Apparatus and Artifacts), 장비(Equipment), 지표(Metrics), 절차(Procedure), 예시 데이터(Example Data)로 구성된다.
• 모든 테스트는 실생활 환경(예: MOUT 시설) 또는 제작된 테스트 구조물(예: 나무로 만든 구조물 또는 컨테이너)에서 실행 가능하도록 설계되었다.
• 이 프레임워크는 통신, 현장 준비성, 인터페이스, 장애물 회피, 항법, 지도 제작, 자율주행, 신뢰도, 상황 인식의 9개 영역에서 sUAS를 평가한다.
• 각 테스트 방법은 시간 소요, 경로 정확도, 장애물 탐지 비율, 인간-시스템 상호작용 품질 등 측정 가능한 성능 지표를 명시한다.
• 테스트 방법은 반복 가능하고 확장 가능하도록 설계되어, 다양한 sUAS 플랫폼과 테스트 조건에서 일관된 평가를 지원한다.
• 평가 시 sUAS는 GPS 없이 작동하고, 표준 문을 통과할 수 있도록 91cm 이하의 너비여야 한다는 가정을 한다.

실험 결과

연구 질문

• RQ1 GPS 없이 지하 및 제한된 실내 환경에서 sUAS 성능을 어떻게 일관되고 신뢰성 있게 평가할 수 있는가?
• RQ2 자율주행, 항법, 인간-시스템 상호작용 등 다양한 분야에서 sUAS 능력을 공정하게 비교하기 위해 어떤 표준화된 테스트 방법이 필요한가?
• RQ3 테스트 방법이 실생활 배치 시나리오를 대표할 수 있도록 하기 위해 어떤 물리적 및 운영적 제약 조건이 필요하는가?
• RQ4 복잡하고 역동적인 실내 환경에서 실생활 성능을 반영하기 위해 테스트 지표는 어떻게 정의되어야 하는가?
• RQ5 제작된 테스트 환경은 반복 가능하고 확장 가능하며 공개 가능한 sUAS 평가를 가능하게 하기 위해 어떤 역할을 하는가?

주요 결과

• 이 설명서는 지하 및 제한된 실내 환경에서 sUAS를 평가하기 위한 종합적이고 표준화된 테스트 프레임워크를 제공하며, 모든 방법이 실생활 또는 제작된 테스트 환경에서 사용 가능하도록 설계되었다.
• 모든 테스트 방법은 일관된 구성 요소—목적, 개요, 기구 및 물품, 장비, 지표, 절차, 예시 데이터—를 포함하여 반복 가능성과 명확성을 보장한다.
• 평가 프레임워크는 자율주행, 장애물 회피, 상황 인식 등 9개의 핵심 영역에서의 평가를 지원하여 종합적인 시스템 비교를 가능하게 한다.
• sUAS는 91cm 이하의 너비여야 하며, GPS 없이 작동해야 하여 제한된 공간에서의 실생활 배치 조건과 일치한다.
• 이 테스트 방법들은 공개 배포를 승인받았으며 연구 및 운영 평가 환경에서 모두 사용될 수 있도록 의도되어 있다.
• 이 프레임워크는 다양한 플랫폼과 테스트 환경에서 sUAS 성능의 일관된 벤치마킹을 가능하게 하여, 성과 추적과 기술 비교를 지원한다.