[논문 리뷰] VIALM: A Survey and Benchmark of Visually Impaired Assistance with Large Models

Yi Zhao, Yilin Zhang외 3명|arXiv (Cornell University)|2024. 01. 29.

Tactile and Sensory InteractionsNeuroscience인용 수 3

한 줄 요약

이 논문은 시각 장애인 보조를 위한 새로운 작업과 벤치마크인 VIALM을 소개한다. 이는 이미지와 사용자 요청에서 환경 기반의 단계별 안내를 생성하는 대규모 모델(LMs)을 평가하기 위한 것이다. 일부 영역에서 뛰어난 성능을 보이지만, GPT-4와 같은 최신 대규모 모델(LMs)은 여전히 심각한 한계를 보이며, 응답의 25.7%만 환경 기반이고, 32.1%는 세밀한 지침이 아니어서 다중 모odal 기반 및 촉각 통합 향상의 필요성을 드러낸다.

ABSTRACT

Visually Impaired Assistance (VIA) aims to automatically help the visually impaired (VI) handle daily activities. The advancement of VIA primarily depends on developments in Computer Vision (CV) and Natural Language Processing (NLP), both of which exhibit cutting-edge paradigms with large models (LMs). Furthermore, LMs have shown exceptional multimodal abilities to tackle challenging physically-grounded tasks such as embodied robots. To investigate the potential and limitations of state-of-the-art (SOTA) LMs' capabilities in VIA applications, we present an extensive study for the task of VIA with LMs (VIALM). In this task, given an image illustrating the physical environments and a linguistic request from a VI user, VIALM aims to output step-by-step guidance to assist the VI user in fulfilling the request grounded in the environment. The study consists of a survey reviewing recent LM research and benchmark experiments examining selected LMs' capabilities in VIA. The results indicate that while LMs can potentially benefit VIA, their output cannot be well environment-grounded (i.e., 25.7% GPT-4's responses) and lacks fine-grained guidance (i.e., 32.1% GPT-4's responses).

연구 동기 및 목표

• 시각 장애인(VI) 사용자가 일상적인 과제를 수행하는 데 도움을 주는 최신 대규모 모델(LMs)의 잠재력과 한계를 조사하기 위해.
• 이러한 응용 분야에 대해 체계적으로 평가되지 않은 대규모 모델(LMs)을 중심으로 시각 장애인 보조 연구의 격차를 해소하기 위해.
• 환경 기반, 세밀한, 촉각 인식 지침을 생성하는 데 있어 대규모 모델(LMs)의 제로샷 평가를 위한 벤치마크를 개발하기 위해.
• 현재 대규모 모델(LMs)의 핵심 단점, 예를 들어 낮은 환경 기반 설정과 상세하고 실행 가능한 단계 부족을 특정하기 위해.

제안 방법

• 시각 장애인 사용자의 요청과 실제 환경의 이미지를 제공받아, 환경 기반의 단계별 지침을 생성하는 새로운 작업인 VIALM을 제안하였다.
• 초저자극 환경과 주방 환경에서 수집한 200장의 이미지로 구성된 벤치마크 데이터셋을 구축하였으며, 각 이미지에는 사용자 요청과 기준 답변(지침)이 함께 제공되었다.
• 6개의 최신 비전-언어 모델(VLMs)과 1개의 대규모 언어 모델(LLM)인 GPT-4, CogVLM, Qwen-VL, LLaVA, MiniGPT-v2, BLIVE를 제로샷 설정에서 평가하였다.
• 세 가지 핵심 지표인 정확성(기반 설정), 실행 가능성(세밀함), 명확성에 기반한 인간-중심 평가 프로토콜을 설계하였다.
• 지식 기반 응답을 '기반 설정' 및 '세밀함' 요소로 분할하여 자동 평가를 수행함으로써, 각 차원에서의 모델 성능을 고립적으로 분석하였다.
• 촉각 지침을 핵심 구성 요소로 통합하여, 모델이 시각 장애인 사용자를 위해 촉각적 단서를 포함하도록 명시적으로 유도하였다.

실험 결과

연구 질문

• RQ1 현재 최신 대규모 모델(LMs)은 시각 장애인 사용자에게 환경 기반 지침을 얼마나 잘 생성할 수 있는가?
• RQ2 LMs는 실제 물리적 환경에서 따라하기 쉬운 세밀하고 실행 가능한 지침을 얼마나 잘 생성하는가?
• RQ3 비전 인코더나 언어 디코더와 같은 모델 구성 요소 중 어떤 것이 VIA에서 기반 설정 또는 세밀함에 가장 기여하는가?
• RQ4 비전 또는 언어에서 강력한 성능을 보이는 모델이 VIA 과제에서 다른 모odal의 약점을 상쇄할 수 있는가?

주요 결과

• 평가된 가장 강력한 모델인 GPT-4도 여전히 응답의 25.7%만 적절하게 환경 기반으로 설정되어 있어, 기반 설정 측면에서 심각한 한계를 보이고 있음을 시사한다.
• GPT-4의 응답 중 32.1%는 행동 가능한 지침을 위해 필요한 세부 정보가 부족하여 실제 과제에서의 실행 가능성에 문제가 있음을 보여준다.
• 다른 다섯 개의 모델은 명시적인 유도에도 불구하고 촉각 단서를 포함하지 못했고, 유일하게 GPT-4만 일반적인 촉각 지침을 제공하였다.
• CogVLM은 홈 이미지에서 0.158 RG_L의 성능을 기록하여 환경 기반 설정에서 다른 모델들을 앞서며, 고도화된 비전 인코더와 시각 전문 모듈 덕분으로 유리함을 확보하였다.
• LLaVA는 홈 이미지에서 0.202의 행동 가능성 점수를 기록하여 세밀함 측면에서 최고의 성능을 보였으며, 강력한 LLaMA-2 언어 모델 구성 요소가 기여한 것으로 분석되었다.
• 자동 평가 결과, 비전 능력은 기반 설정을 향상시키지만 언어 능력은 세밀함을 향상시키며, 현재 모델에서는 이 두 능력의 상호 보완적 통합이 아직 약한 것으로 확인되었다.