[논문 리뷰] Evaluating the encoding competence of visual language models using uncommon actions

Chen Ling, Nai Ding|arXiv (Cornell University)|2026. 01. 12.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

이 논문은 UAIT 벤치마크를 도입하여 LLM과 확산 모델로 생성된 비일반-상식 행동 장면에서 시각-언어 모델을 테스트하고, 현재 모델은 일반적인 패턴을 넘는 의미 추론에 어려움을 겪으며 미세조정의 이점을 누리지만 여전히 인간보다 뒤처진다는 것을 보여준다.

ABSTRACT

We propose UAIT (Uncommon-sense Action Image-Text) dataset, a new evaluation benchmark designed to test the semantic understanding ability of visual language models (VLMs) in uncommon-sense action scenes. Unlike previous datasets that focus on common visual scenes with statistical frequency advantages, UAIT challenges models with grammatically reasonable but semantically counter-common sense image-text pairs. Such tasks require models to go beyond superficial pattern recognition and demonstrate a deep understanding of agent-patient relationships and physical feasibility. To build UAIT, we designed a semi-automated process to synthesize high-quality uncommon-sense image-text samples using large language models, few-shot prompt engineering, and text-to-image generation. Each sample is accompanied by a carefully designed multiple-choice question to test the model's competence in fine-grained reasoning. We evaluate multiple state-of-the-art visual language models and compare them with models based on contrastive learning. Experiments show that all models perform significantly worse than humans in semantic judgment, especially in distinguishing grammatical correctness from semantic rationality. Further experiments show that even the lightweight model can improve its accuracy after fine-tuning, demonstrating the great potential of directional adaptation. This study not only reveals the key weaknesses of VLMs, but also provides diagnostic tools and research directions for the development of robust models with real visual semantic reasoning capabilities.

연구 동기 및 목표

• 최첨단 시각-언어 모델이 비일반-상식 행동을 인코딩하고 추론할 수 있는지 평가한다.
• LLMs와 확산을 이용하여 비일반-행동 이미지-텍스트 데이터셋(UAIT)을 만들어 일반적인 패턴을 넘어선 의미 이해를 테스트한다.
• 대상-상식에 반하는 작업에서 표준 접근법과 미세조정(LoRA) 접근법 간의 모델 성능 차이를 분석한다.
• VLM에서 강건한 시각-의미 추론을 개선하기 위한 진단 도구와 방향을 제공한다.

제안 방법

• VerbNet에서 53개 클래스와 318개 동사를 사용하여 동사 중심의 비일반-상식 행동 데이터셋(UAIT)을 구성한다.
• few-shot 프롬프트를 가진 LLM을 통해 비일반-텍스트 설명을 생성하여 반일반-상식 문장 쌍을 만든다.
• 상세한 장면 설명에 따라 안정적 확산(SD)으로 대응하는 이미지를 합성한다.
• 일반 텍스트 설명과 비일반 텍스트 설명을 대조하는 두 옵션형 질문이 있는 VQA 스타일 데이터셋을 만든다.
• 여러 VLM(Qwen2-VL-Instruct, LLaVA-1.5, LLaMA3.2-Vision)과 대조학습 모델(CLIP, RWKV-CLIP)을 평가한다.
• 전이 가능성과 성능 향상을 연구하기 위해 LoRA 기반 미세조정을 적용한다.

실험 결과

연구 질문

• RQ1 현재 VLM이 행동 시나리오 간에 문법적으로는 옳지만 의미적으로는 지원되지 않는 장면(비일반-상식 추론)을 구분할 수 있는가
• RQ2 대조학습 또는 지시-튜닝에 의존하는 모델이 비일반-행동 벤치마크에서 서로 다른 약점을 보이는가
• RQ3 미세조정(LoRA)이 UAIT 작업의 성능을 향상시키고 모델이 인간 수준의 의미 판단에 얼마나 가까이 다가가는가
• RQ4 행동 및 행위자-피험자 관계에 대한 심층적인 시각-의미 인코딩의 한계를 드러내는 진단적 패턴은 무엇인가

주요 결과

• 최첨단 VLM은 비일반-행동 장면에 대한 의미 판단에서 인간보다 뒤처진다.
• 모델은 행동 이미지에서 구문적 정확성과 의미적 타당성을 구분하는 데 어려움을 겪는다.
• 경량 모델(LoRA)의 미세조정이 벤치마크에서 정확도를 향상시킬 수 있다.
• 모델과 인간 성능 간에 여전히 상당한 격차가 남아 있으며, 현재 다중 모달 이해의 근본적 한계를 시사한다.
• 평가는 표면 패턴에 의존하는 경향의 약점을 드러내고 심층적인 시각-의미 인코딩의 부족을 지적한다.