[논문 리뷰] Towards Governance-Oriented Low-Altitude Intelligence: A Management-Centric Multi-Modal Benchmark With Implicitly Coordinated Vision-Language Reasoning Framework

Hao Chang, Zhihui Wang외 4명|arXiv (Cornell University)|2026. 01. 27.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

GovLA-10K를 소개하는 관리 지향의 저고도 거버넌스 다중 모달 벤치마크와, 지시 없이 검출기나 LLM을 미세조정하지 않고 거버넌스 중심 캡션을 조정하는 암시적 특징 어댑터 프레임워크인 GovLA-Reasoner를 제시한다.

ABSTRACT

Low-altitude vision systems are becoming a critical infrastructure for smart city governance. However, existing object-centric perception paradigms and loosely coupled vision-language pipelines are still difficult to support management-oriented anomaly understanding required in real-world urban governance. To bridge this gap, we introduce GovLA-10K, the first management-oriented multi-modal benchmark for low-altitude intelligence, along with GovLA-Reasoner, a unified vision-language reasoning framework tailored for governance-aware aerial perception. Unlike existing studies that aim to exhaustively annotate all visible objects, GovLA-10K is deliberately designed around functionally salient targets that directly correspond to practical management needs, and further provides actionable management suggestions grounded in these observations. To effectively coordinate the fine-grained visual grounding with high-level contextual language reasoning, GovLA-Reasoner introduces an efficient feature adapter that implicitly coordinates discriminative representation sharing between the visual detector and the large language model (LLM). Extensive experiments show that our method significantly improves performance while avoiding the need of fine-tuning for any task-specific individual components. We believe our work offers a new perspective and foundation for future studies on management-aware low-altitude vision-language systems.

연구 동기 및 목표

• 저고도 인식의 범주화를 광범위한 객체 인식에서 선택적이고 거버넌스 관련 이상 이해로 전환한다.
• 도시 거버넌스와 연결된 기능적으로 중요한 대상에 초점을 맞춘 벤치마크(GovLA-10K)를 제공한다.
• 구성 요소를 미세조정하지 않고 바운딩 기반과 언어를 긴밀하게 통합하는 단일 추론 프레임워크(GovLA-Reasoner)를 개발한다.
• 시각적 근거와 거버넌스 규칙에 기반한 실행 가능한 관리 제안을 제공한다.

제안 방법

• 공공 UAV 이미지와 내부 비행으로부터 GovLA-10K 데이터를 수집하고 필터링 후 10,572장의 고품질 이미지를 확보했다.
• 거버넌스 필요를 반영하기 위해 9개의 기능적으로 중요한 카테고리(예: 불법 주정차 차량, 건설 잔해, 지면 쓰레기)로 정의했다.
• 두 단계의 반자동 주석화: 수동 바운딩 박스와 카테고리 라벨; 그다음 MMGroundingDINO(IoU 임계값 0.5) 및 VLM이 생성한 캡션을 사용한 감사를 통한 검증.
• 구성된 프롬프트를 사용해 관리 제안을 포함한 맥락 캡션을 생성하고, 거버넌스 관련성 및 정확성을 확보하기 위해 전문가의 검토를 거친다.
• GovLA-Reasoner는 F_img, F_query, F_decoder를 압축·집계하고 이를 LLM에 전달해 엔드-투-엔드 추론을 수행하는 경량 특징 어댑터를 도입한다.
• 어댑터 학습은 경량이고 작업 특화적이며, 어댑터만 학습되고 검출기와 LLM은 동결된 상태를 유지한다.

실험 결과

연구 질문

• RQ1 저고도 거버넌스 작업을 위한 관리 지향적 다중 모달 벤치마크의 가치는 무엇인가?
• RQ2 암시적 특징 어댑터를 갖춘 단일 비전–언어 추론 프레임워크가 검출기나 LLM의 미세조정 없이 거버넌스 중심 캡션 생성을 개선할 수 있는가?
• RQ3 기능적으로 중요한 거버넌스 주도 대상은 저고도 도시 시나리오에서의 모든 객체 주석과 비교해 어떤 성능을 보이는가?
• RQ4 grounding 특징과 언어 추론 간의 암시적 협력이 VLM 기반 파이프라인의 정보 손실과 오류 누적을 줄이는가?

주요 결과

• GovLA-10K는 거버넌스 관련 대상으로 9개의 카테고리에 초점을 맞추고, 일치하는 장면 캡션과 관리 제안을 제공한다.
• MMGrounding-DINO 기반 바운딩은 강력한 탐지 성능을 달성하며 거버넌스 작업에 대한 텍스트 주도 바운딩의 가치를 강조한다.
• GovLA-Reasoner는 주요 VLM 기반 기법 대비 캡션 지표를 크게 향상시켰으며, 4B LLM을 사용해 보고된 결과에서 BLEU-1 53.32 및 CIDEr-D 20.31의 수치를 기록했다.
• 어댑터 접근법은 검출기나 LLM의 미세조정 없이도 엔드-투-엔드 시각적 조건화를 가능하게 하여 효율성과 성능을 높인다.
• 제거 연구에서 어댑터가 필요하며 세 입력 특징 그룹(F_img, F_query, F_decoder)을 모두 사용할 때 최상의 결과를 낳고, 어댑터의 두 개의 트랜스포머 층이 최적의 트레이드오프를 제공한다.
• GovLA-Reasoner는 다수의 메트릭에서 더 큰 모델보다 우수한 성능을 보여 파라미터 효율성과 암시적 협력의 효과를 입증한다.