[논문 리뷰] Voice-Driven Semantic Perception for UAV-Assisted Emergency Networks

Nuno Saavedra, Patrick Rasmussen Ribeiro외 2명|arXiv (Cornell University)|2026. 02. 19.

UAV Applications and Optimization인용 수 0

한 줄 요약

SIREN은 비구조화된 긴급 음성 통신을 구조화된, 기계가 읽을 수 있는 시맨틱 출력으로 변환하여 ASR, LLMs, 및 NLP 검증을 통해 UAV 지원 네트워크 관리에 기여; 합성 시나리오에서 실현 가능성과 주요 한계점을 보여주는 평가.

ABSTRACT

Unmanned Aerial Vehicle (UAV)-assisted networks are increasingly foreseen as a promising approach for emergency response, providing rapid, flexible, and resilient communications in environments where terrestrial infrastructure is degraded or unavailable. In such scenarios, voice radio communications remain essential for first responders due to their robustness; however, their unstructured nature prevents direct integration with automated UAV-assisted network management. This paper proposes SIREN, an AI-driven framework that enables voice-driven perception for UAV-assisted networks. By integrating Automatic Speech Recognition (ASR) with Large Language Model (LLM)-based semantic extraction and Natural Language Processing (NLP) validation, SIREN converts emergency voice traffic into structured, machine-readable information, including responding units, location references, emergency severity, and Quality-of-Service (QoS) requirements. SIREN is evaluated using synthetic emergency scenarios with controlled variations in language, speaker count, background noise, and message complexity. The results demonstrate robust transcription and reliable semantic extraction across diverse operating conditions, while highlighting speaker diarization and geographic ambiguity as the main limiting factors. These findings establish the feasibility of voice-driven situational awareness for UAV-assisted networks and show a practical foundation for human-in-the-loop decision support and adaptive network management in emergency response operations.

연구 동기 및 목표

• 지상 인프라가 악화되었거나 사용할 수 없는 상황에서 회복력 있고 유연한 긴급 통신을 촉진한다.
• 음성 트래픽에서 구조화된 시맨틱 정보를 추출하여 인간-대-루프(Human-in-the-loop) UAV 네트워크 관리가 가능하도록 한다.
• 지각 계층을 통해 비구조화된 음성 교환과 프로그래밍 가능한 네트워크 결정을 연결한다.
• 다양한 언어적 및 음향 조건에서 음성 기반 시맨틱 인식의 강건성과 한계를 평가한다.
• 음성 유도 맥락을 이용한 적응적 UAV 위치 선정 및 자원 할당에 대한 실용적 기반을 제공한다.

제안 방법

• SIREN을 UAV 관리에 적합한 구조화된 출력으로 비상 음성을 변환하는 모듈식 AI 파이프라인으로 제안한다.
• 스키마 제약 프롬핑 regime 하에서 의미 추출을 위해 Automatic Speech Recognition (ASR)과 Large Language Models (LLMs)을 통합한다.
• LLM 출력을 검토 및 정제하기 위해 결정적 NLP 검증(NER, 화자 분리, 감정 분석)을 적용한다.
• UAV 제어 및 기획 시스템과의 통합을 위해 JSON-형태의 구조적 표현(위치, 단위, emergency_level, QoS expectations)을 생성한다.
• 검증된 위치 엔터티를 좌표로 매핑하고 대화형 지리 참조 인터페이스를 통해 결과를 시각화한다.
• 다양한 언어, 화자 수, 배경 소음, 메시지 복잡성을 가진 합성 다중 시나리오 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 음성 유래 시맨틱 인식이 UAV-지원 긴급 네트워크 관리에 신뢰할 수 있는 입력을 제공할 수 있는가?
• RQ2 언어 변이, 화자 간 유사성, 배경 소음에 대해 SIREN 파이프라인의 강건성은 어느 정도인가?
• RQ3 에어/그라운드 협조에서 음성 기반 인식을 사용할 때 주요 병목 현상은 무엇인가요(예: diarization, geocoding)?
• RQ4 구조화된 출력이 인간-대-루프 의사 결정 및 적응형 네트워크 제어를 어느 정도까지 지원할 수 있는가?

주요 결과

• SIREN은 합성 테스트에서 다양한 조건에 걸쳐 강건한 전사 및 시맨틱 추출을 달성한다.
• 화자 분리(diarization)와 지리적 모호성이 다중 화자 및 애매한 위치 시나리오에서 주요 한계 요인이다.
• 노이즈가 있는 조건에서 API 기반 전사는 로컬 오프라인 모델보다 성능이 우수하며, 더 높은 용량 백엔드에서 두 모델 모두 향상된다.
• 지오코딩 모호성과 외부 서비스의 한계로 인해 텍스트 추출이 정확하더라도 좌표 정확도에 영향이 있을 수 있다.
• LLM 기반 시맨틱 처리와 결정론적 NLP 검증은 UAV 위치 지정 및 자원 할당 작업에 적합한 구조화된 JSON 출력으로 이어진다.
• 시나리오 복잡도가 증가함에 따라 실행 시간이 증가하며, 복잡도가 커질수록 LLM 추론이 지배적이다.