[논문 리뷰] VHM: Versatile and Honest Vision Language Model for Remote Sensing Image Analysis

Chao Pang, Xingxing Weng외 9명|arXiv (Cornell University)|2024. 03. 29.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 HqDC-1.4M, 즉 140만 개의 세부적인 이미지-캡션 쌍을 포함한 대규모 고품질 데이터셋과, 환상 현상을 줄이기 위해 모델이 답변 불가 질문을 인식하도록 훈련시키는 첫 번째 자기 인식 데이터셋인 RSSA로 향상된 유연하고 솔직한 원격 감지 시각-언어 모델인 H2RSVLM을 제안한다. H2RSVLM은 다양한 RS 기준에서 최고 성능을 기록하며, 답변 불가 질문에 대해 강력한 거부 능력을 보여준다.

ABSTRACT

This paper develops a Versatile and Honest vision language Model (VHM) for remote sensing image analysis. VHM is built on a large-scale remote sensing image-text dataset with rich-content captions (VersaD), and an honest instruction dataset comprising both factual and deceptive questions (HnstD). Unlike prevailing remote sensing image-text datasets, in which image captions focus on a few prominent objects and their relationships, VersaD captions provide detailed information about image properties, object attributes, and the overall scene. This comprehensive captioning enables VHM to thoroughly understand remote sensing images and perform diverse remote sensing tasks. Moreover, different from existing remote sensing instruction datasets that only include factual questions, HnstD contains additional deceptive questions stemming from the non-existence of objects. This feature prevents VHM from producing affirmative answers to nonsense queries, thereby ensuring its honesty. In our experiments, VHM significantly outperforms various vision language models on common tasks of scene classification, visual question answering, and visual grounding. Additionally, VHM achieves competent performance on several unexplored tasks, such as building vectorizing, multi-label classification and honest question answering. We will release the code, data and model weights at https://github.com/opendatalab/VHM .

연구 동기 및 목표

• 도메인 특화된 이미지 특성과 제한된 공간 인식 능력으로 인해 일반적인 대규모 시각-언어 모델(VLM)이 원격 감지(RS)에서 떨어진 성능을 보이는 문제를 해결하기 위해.
• 기존의 RS 전용 VLMs(RSVLMs)가 훈련 데이터가 부족하고 답변 불가 질문에 대해 취약한 점을 극복하기 위해.
• 세부적이고 속성 기반의 캡션을 포함한 대규모 고품질 RS 시각-언어 데이터셋(HqDC-1.4M)을 개발하여 모델의 이해력과 공간 추론 능력을 향상시키기 위해.
• 환상 현상을 줄이기 위해 답변 불가 질문 예시를 활용해 모델의 자기 인식 능력을 향상시키는 데 특화된 첫 번째 데이터셋인 RSSA를 도입하기 위해.
• 높은 유용성과 솔직함을 동시에 확보하는 H2RSVLM을 구축하고 평가하기 위해.

제안 방법

• Gemini-Vision을 사용하여 객체 유형, 속성(색상, 형태, 위치) 및 계절 변화와 같은 동적 특징을 포함한 풍부하고 세부적인 캡션을 생성함으로써 140만 장의 이미지-캡션 데이터셋인 HqDC-1.4M를 구축함.
• VLM이 포괄적이고 유창하며 속성 기반의 묘사를 유도하기 위해 프롬프트 엔지니어링 전략을 설계하여 공간 인식 및 국지화 능력을 향상시킴.
• 표준 시각 질문-답변 작업에 답변 불가 질문을 통합하여 RS VLM용 자기 인식 데이터셋인 RSSA를 제작함으로써 모델이 잘못된 생성을 거부하도록 훈련함.
• 분류, VQA, 시각 기반 작업을 포함하는 다중 작업 지시 데이터셋(RS-ClsQaGrd-Instruct)을 사용하여 비전 인코더(ViT from CLIP)와 언어 헤드를 피나이팅함.
• HqDC-1.4M와 RSSA를 통합된 훈련 파이프라인에 통합하여 H2RSVLM 아키텍처에서 도움이 되는 능력과 솔직함을 동시에 최적화함.
• 분류, VQA, 시각 기반 작업 등에 특화된 태스크별 평가 지표를 사용하여 여러 공개된 RS 기준, 즉 RS-ClsQaGrd-Instruct, RS-Specialized-Instruct, RSSA에서 모델을 평가함.

실험 결과

연구 질문

• RQ1 대규모 고품질 시각-언어 데이터셋이 원격 감지 VLM의 공간 인식 능력과 객체 이해 능력을 크게 향상시킬 수 있는가?
• RQ2 답변 불가 질문을 통한 자기 인식 훈련이 원격 감지 VLM의 환상 현상에 얼마나 효과적으로 기여하는가?
• RQ3 세부적인 캡션 데이터와 자기 인식 데이터의 조합이 하나의 VLM에서 유용성과 솔직함을 동시에 향상시키는가?
• RQ4 H2RSVLM은 분류, 수량 세기, 시각 기반, 벡터화 등 다양한 RS 태스크로 일반화될 수 있는가?
• RQ5 기본 모델 대비 H2RSVLM의 답변 불가 질문에 대한 성능은 어떠한가? 그리고 신뢰할 수 있는 거부 행동을 보여주는가?

주요 결과

• H2RSVLM은 GID에서 F1 점수 85.77%와 FBP에서 72.20%를 기록하여 여러 RS 기준에서 최고 성능을 기록함.
• 시각 기반 작업에서 H2RSVLM은 CrowdAI-val에서 C-IoU 70.41%를 달성하여 뛰어난 국지화 정확도를 보임.
• 수량 세기 작업에서 H2RSVLM은 평균 절대 오차(MAE) 6.22를 기록하여 강력한 객체 수량 세기 능력을 보임.
• RSSA 기준의 답변 불가 질문에 대해 H2RSVLM은 견고한 거부 행동을 보이며 환상 현상을 효과적으로 감소시킴.
• 시각화 결과에 따르면 H2RSVLM은 시각 기반 작업에서 큰 객체에 대해 잘 작동하지만, 입력 해상도 제약(336×336)으로 인해 작은 객체에서는 어려움을 겪음.
• 정성적 결과를 통해 H2RSVLM은 다중 레이어 지형 분류, 이미지 유형 식별, 지표 샘플링 거리 추정 등에서 뛰어난 성능을 보임.