[논문 리뷰] AutoSOS: Towards Multi-UAV Systems Supporting Maritime Search and Rescue with Lightweight AI and Edge Computing

Jorge Peña Queralta, Jenni Raitoharju외 3명|arXiv (Cornell University)|2020. 05. 07.

Underwater Vehicles and Communication Systems참고 문헌 34인용 수 23

한 줄 요약

AutoSOS는 경량 AI와 엣지 컴퓨팅을 통합한 자율 다중 UAV 시스템을 구조선과 연계하여 해상 구조를 향상시키는 것을 목적으로 한다. 이 시스템은 실시간 센서 융합, 적응형 객체 탐지, 다중 홉 통신 및 활성 시각을 위한 동적 UAV 재구성 기능을 제공하여 상황 인식 능력을 크게 향상시키며, 복잡한 분석은 구조선의 탑재 컴퓨팅 자원에 위임한다.

ABSTRACT

Rescue vessels are the main actors in maritime safety and rescue operations. At the same time, aerial drones bring a significant advantage into this scenario. This paper presents the research directions of the AutoSOS project, where we work in the development of an autonomous multi-robot search and rescue assistance platform capable of sensor fusion and object detection in embedded devices using novel lightweight AI models. The platform is meant to perform reconnaissance missions for initial assessment of the environment using novel adaptive deep learning algorithms that efficiently use the available sensors and computational resources on drones and rescue vessel. When drones find potential objects, they will send their sensor data to the vessel to verity the findings with increased accuracy. The actual rescue and treatment operation are left as the responsibility of the rescue personnel. The drones will autonomously reconfigure their spatial distribution to enable multi-hop communication, when a direct connection between a drone transmitting information and the vessel is unavailable.

연구 동기 및 목표

• 해상 구조(SAR) 작업을 지원하기 위한 자율 다중 UAV 시스템을 개발하여 고비용 헬리코프터 의존도를 줄이기.
• 변동성이 큰 해상 환경에서 계산 및 환경 제약 조건 하에 실시간 인식과 조율을 달성하는 데 도전 과제 해결.
• 임베디드 엣지 장치에서 경량 딥 러닝 모델을 사용하여 효율적이고 저지연의 객체 탐지 및 센서 융합을 실현하기.
• 다중 홉 통신과 동적 UAV 편대 제어를 통해 연결성 유지 및 감시 커버리지 최적화를 실현하기.
• 다양한 센서(시각, 적외선, LiDAR)에서 유입되는 데이터를 UAV와 구조선 간 통합하여 탐지 정확도와 신뢰성을 향상시키기.

제안 방법

• UAV와 구조선에 실시간 객체 탐지 및 세그멘테이션을 위한 경량, 엣지 최적화 딥 러닝 모델을 구현.
• 대규모 모델을 임베디드 하드웨어에 적합한 효율적인 실시간 추론 모델로 압축하기 위해 신경망 정규화 및 지식 전이 기법을 적용.
• 동일한 UAV에서 다중 센서(예: 시각 및 적외선 카메라) 데이터를 융합하는 내부 장치 다중 모odal 융합 구현.
• 구조선의 LiDAR 포인트 클라우드와 UAV의 시각 데이터를 융합하여 외부 장치 다중 모달 융합을 적용하고 인식 정확도 향상.
• 실시간 계산 부하 및 가용 자원에 따라 모델 복잡도를 조정할 수 있는 동적 추론 그래프 적응 기법 개발.
• 탐지 우선순위, 통신 필요성, 대상 밀도를 기반으로 UAV의 공간 분포를 재구성하는 분산 조율 및 편대 제어 알고리즘 적용.

실험 결과

연구 질문

• RQ1 어떻게 경량 AI 모델을 UAV와 구조선의 임베디드 엣지 장치에 효과적으로 구현하여 해상 구조에서 실시간 객체 탐지를 가능하게 할 수 있는가?
• RQ2 내부 및 외부 장치 간의 다중 모달 융합 전략은 어떤 것이며, 계산 오버헤드를 최소화하면서도 탐지 정확도를 향상시킬 수 있는가?
• RQ3 직접 시야가 없는 상황에서 UAV가 탐지 우선순위와 통신 필요성을 기반으로 자율적으로 편대를 재구성하여 다중 홉 통신을 유지하고 감시를 최적화할 수 있는가?
• RQ4 어떤 활성 시각 및 추적 메커니즘이 고우선도 또는 고신뢰도 탐지 사항을 우선적으로 공동으로 조사할 수 있도록 도와주는가?
• RQ5 분산 조율 알고리즘은 이질적인 다중 로봇 시스템에서 계산 부하, 통신 대역폭, 탐지 정확도 사이의 균형을 어떻게 유지할 수 있는가?

주요 결과

• AutoSOS 플랫폼은 모델 정규화와 동적 그래프 적응 기법을 통해 임베디드 UAV 및 선박 하드웨어에서 실시간 경량 AI 추론을 가능하게 했다.
• 시각 및 적외선 카메라 데이터의 내부 장치 융합은 저조도 또는 악천후 조건에서 객체 탐지 신뢰도를 향상시켰다.
• 구조선의 LiDAR 데이터와 UAV의 시각 데이터를 융합함으로써 3차원 환경 이해 및 객체 정위치 정확도가 향상되었다.
• 탐지 우선순위와 통신 필요성을 기반으로 한 동적 UAV 재구성은 직접 시야 없이도 견고한 다중 홉 통신을 보장하여 데이터 전송 가능성을 확보했다.
• 이 플랫폼은 알리카테 해상 구조 그룹과의 협업을 통해 현장 테스트 준비 상태를 성공적으로 입증하였으며, 관광객이 많은 해안 지역의 실제 구조 상황에 적용 가능함을 입증했다.
• 이 플랫폼 아키텍처는 산악지역이나 현장 기반 탐색 작업 등 해상 외의 환경에도 확장 가능하며, 해상 사례를 넘어선 응용 가능성이 있다.