[論文レビュー] VIALM: A Survey and Benchmark of Visually Impaired Assistance with Large Models

Yi Zhao, Yilin Zhang+3 more|arXiv (Cornell University)|Jan 29, 2024

Tactile and Sensory InteractionsNeuroscience被引用数 3

ひとこと要約

この論文は、視覚障害者支援における大規模モデル（LM）の評価を目的とした新規タスクおよびベンチマーク、VIALMを紹介する。モデルは画像とユーザーの要請から、環境に根ざした段階的ガイダンスを生成する。一部の分野では優れた性能を示すが、SOTAのLMであるGPT-4ですら、環境に根ざした応答が25.7%にとどまり、詳細なガイダンスが32.1%にとどまることから、マルチモーダルな根拠付けとタクトイル統合の向上が求められることが示された。

ABSTRACT

Visually Impaired Assistance (VIA) aims to automatically help the visually impaired (VI) handle daily activities. The advancement of VIA primarily depends on developments in Computer Vision (CV) and Natural Language Processing (NLP), both of which exhibit cutting-edge paradigms with large models (LMs). Furthermore, LMs have shown exceptional multimodal abilities to tackle challenging physically-grounded tasks such as embodied robots. To investigate the potential and limitations of state-of-the-art (SOTA) LMs' capabilities in VIA applications, we present an extensive study for the task of VIA with LMs (VIALM). In this task, given an image illustrating the physical environments and a linguistic request from a VI user, VIALM aims to output step-by-step guidance to assist the VI user in fulfilling the request grounded in the environment. The study consists of a survey reviewing recent LM research and benchmark experiments examining selected LMs' capabilities in VIA. The results indicate that while LMs can potentially benefit VIA, their output cannot be well environment-grounded (i.e., 25.7% GPT-4's responses) and lacks fine-grained guidance (i.e., 32.1% GPT-4's responses).

研究の動機と目的

• 視覚障害者（VI）ユーザーが日常のタスクを遂行するのを支援する、最先端の大規模モデル（LM）の潜在的役割と限界を調査すること。
• この応用分野において体系的に評価されていないLMに焦点を当て、VI支援分野におけるギャップを埋めること。
• 環境に根ざした、詳細な、タクトイルに配慮したガイダンスを生成するLMのゼロショット評価を目的としたベンチマークの開発。
• 現在のLMの根本的な欠陥、たとえば環境への根拠の欠如や詳細で実行可能なステップの不足を特定すること。

提案手法

• 物理的環境の画像と視覚障害者ユーザーからの自然言語要請が与えられた際、段階的かつ環境に根ざしたガイダンスを生成する、新規タスクVIALMを提案。
• スーパーマーケットおよび家庭環境から200枚の画像を収集し、それぞれにユーザー要請と参照回答（ガイダンス）をペアで付与したベンチマークデータセットを構築。
• 6つのSOTAビジョン・ランゲージモデル（VLM）および1つの大規模言語モデル（LLM）：GPT-4、CogVLM、Qwen-VL、LLaVA、MiniGPT-v2、BLIVEを、ゼロショット設定下で評価。
• 人間を介する評価プロトコルを設計し、正しさ（根拠付け）、実行可能性（詳細さ）、明確さの3つの主要指標を用いた。
• 自動評価を実施し、正解の応答を「根拠づけられた」および「詳細な」成分に分割することで、各次元におけるモデルのパフォーマンスを分離して評価。
• タクトイルガイダンスを重要な要素として統合し、明示的にモデルにタクトイルの手がかりを含めるよう促した。

実験結果

リサーチクエスチョン

• RQ1 現在のSOTA LMsは、視覚障害者ユーザーに対して、どの程度環境に根ざしたガイダンスを生成できるか？
• RQ2 LMsは、現実の物理的環境で実際に実行可能な、詳細な指示をどの程度適切に生成できるか？
• RQ3 VIAにおいて、根拠づけや詳細さに最も寄与するモデルの構成要素（例：視覚エンコーダ、言語デコーダ）は何か？
• RQ4 視覚または言語の能力に優れるLMは、VIAタスクにおいて、もう一方のモダリティの弱みを補えるか？

主な発見

• 評価された中で最も優れたモデルであるGPT-4ですら、環境に根ざした応答をわずか25.7%しか生成できず、根拠づけの重大な限界が示された。
• GPT-4の応答の32.1%が詳細さに欠け、現実のタスクにおける実行可能なガイダンスとして不十分であることが判明した。
• GPT-4以外の5つのモデルは、明示的なプロンプトにもかかわらず、タクトイルの手がかりを一切含まなかったが、GPT-4だけが一般化されたタクトイルガイダンスを提供した。
• CogVLMは、家庭環境の画像において0.158のRG_Lを達成し、優れた視覚エンコーダとVisual Expertモジュールのおかげで、他のモデルを上回った。
• LLaVAは、家庭環境の画像において0.202のアクションアビリティスコアを達成し、強力なLLaMA-2言語モデルコンponentsのおかげだと考えられる。
• 自動評価により、視覚的能力が根拠づけを向上させ、言語的能力が詳細さを向上させることが確認されたが、両者の連携統合は現在のモデルでは弱いままだった。