[논문 리뷰] Evaluation and Enhancement of Semantic Grounding in Large Vision-Language Models

Jiaying Lu, Jinmeng Rao외 6명|arXiv (Cornell University)|2023. 09. 07.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 색상, 수량, 소재와 같은 미세한 특성에 대한 다수의 선택지 문제 기반 벤치마크(Msg-Mcq)를 사용하여 대규모 자동 생성된 다중 선택 문제 벤치마크를 활용해 대규모 시각-언어 모델(LVLMs)의 의미 기반 정렬을 평가하고 향상시키는 데이터 중심적 접근법을 제안한다. 이 방법은 180,000개의 미세한 특성 대화 인스턴스를 활용한 다중 모odal 지시 훈련을 통해 일관된 정확도 향상을 이끌어내며, 일곱 개의 LVLM에서 모두 성능 향상을 이끌어내었고, 최고의 모델은 무작위 추측 대비 5.9% 향상된 성능을 기록하였다.

ABSTRACT

Large Vision-Language Models (LVLMs) offer remarkable benefits for a variety of vision-language tasks. However, a challenge hindering their application in real-world scenarios, particularly regarding safety, robustness, and reliability, is their constrained semantic grounding ability, which pertains to connecting language to the physical-world entities or concepts referenced in images. Therefore, a crucial need arises for a comprehensive study to assess the semantic grounding ability of widely used LVLMs. Despite the significance, sufficient investigation in this direction is currently lacking. Our work bridges this gap by designing a pipeline for generating large-scale evaluation datasets covering fine-grained semantic information, such as color, number, material, etc., along with a thorough assessment of seven popular LVLMs' semantic grounding ability. Results highlight prevalent misgrounding across various aspects and degrees. To address this issue, we propose a data-centric enhancement method that aims to improve LVLMs' semantic grounding ability through multimodal instruction tuning on fine-grained conversations. Experiments on enhanced LVLMs demonstrate notable improvements in addressing misgrounding issues.

연구 동기 및 목표

• LVLM에서 의미 기반 정렬에 대한 종합적인 평가 부족 문제를 해결하여 실세계 응용에서의 안전성과 신뢰성에 기여하고자 한다.
• 물리 세계의 실체 기반 정렬에 초점을 맞춘 다양한, 미세한 특성의 시각-언어 테스트 샘플을 자동으로 생성할 수 있는 확장 가능한 파이프라인을 설계하고자 한다.
• 다중 라운드 대화, 시각 기반 프롬프트 인식, 사실 확인을 중심으로 한 다중 모달 지시 훈련을 통해 LVLM의 의미 기반 정렬 능력을 향상시키는 데이터 중심적 개선 방법을 개발하고자 한다.
• 다양한 LVLM에서 일관된 성능 향상을 이끌 수 있도록 재사용 가능한 고품질의 지시 훈련 데이터셋을 제공하고자 한다.

제안 방법

• LVLM 평가를 위해 네 가지 질문 유형과 색상, 수량, 소재 등 총 여섯 가지 기반 정렬 대상이 포함된 다중 선택 문제 형식의 Msg-Mcq를 개발하였다.
• 다양성과 커버리지 보장을 위해 구조화된 파이프라인을 활용해 자동으로 9,000개의 테스트 샘플을 생성하여 미세한 의미적 특성에 대응하였다.
• 다중 라운드 대화, 시각 기반 프롬프트 인식, 사실 확인에 중점을 두고 180,000개의 미세한 특성 다중 모달 지시 인스턴스를 정제하였다.
• 향상된 데이터를 활용해 일곱 개의 최첨단 LVLM에 지시 훈련을 적용하여 엔드 투 엔드 최적화를 가능하게 하고 기반 정렬 성능 향상을 이끌었다.
• 질문 유형과 기반 정렬 대상 간 모델 성능을 통계적으로 비교하기 위해 중요 차이 분석을 사용하여 향상의 유의미성을 검증하였다.
• 평가 및 개선 프레임워크를 일반화하고 확장 가능하게 설계하여 아키텍처 변경 없이도 어떤 LVLM에도 데이터 중심 훈련을 적용할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 현재 최첨단 LVLM들은 색상, 수량, 소재와 같은 미세한 시각적 특성의 기반 정렬에서 얼마나 잘 수행하는가?
• RQ2 LVLM의 의미 기반 정렬에서 지배적인 실패 유형은 무엇이며, 질문 형식과 기반 정렬 대상에 따라 어떻게 달라지는가?
• RQ3 특히 정제된 다중 모달 대화에 기반한 지시 훈련을 통해 데이터 중심 접근법이 LVLM의 의미 기반 정렬 능력을 효과적으로 향상시킬 수 있는가?
• RQ4 지시 훈련으로 얻는 성능 향상은 다양한 LVLM 아키텍처 간에 어느 정도로 다를 수 있는가?

주요 결과

• 가장 뛰어난 성능을 보인 LVLM(LaMA-Adapter)도 다중 선택 문제에서 무작위 추측 대비 단지 5.9%의 정확도 향상에 그쳐 의미 기반 정렬의 심각한 결함을 보여주었다.
• 대부분의 LVLM가 판단형 및 수정형 질문(예: 예/아니요, 빈칸 채우기)에서 열악한 성능을 보였지만, 서술형 질문(예: 무엇, 빈칸 채우기)에서는 보다 우수한 성능를 보였다.
• 180,000개의 미세한 특성 다중 모달 지시 인스턴스에 기반한 지시 훈련은 평가된 일곱 개의 LVLM 전부에서 일관된 정확도 향상을 이끌어냈다.
• LaVIN은 빌드 인 어댑터를 통해 시각 인코더와 언어 모델 양쪽에서 최적화가 가능했기 때문에 가장 높은 성능 향상을 보였다.
• 전반적인 향상에도 불구하고 일부 모델은 특정 MCQ 유형에서 약간의 정확도 하락을 경험했다—예를 들어, LaVIN은 빈칸 채우기 MCQ에서 15.20% 하락을 보였다—이로써 작업별 민감성이 존재함을 시사하였다.
• 인간의 성능는 여전히 모든 LVLM보다 유의미하게 높았으며, 의미 기반 정렬 능력의 지속적인 격차를 보여주었다.