[论文解读] LMEye: An Interactive Perception Network for Large Language Models

Yunxin Li, Baotian Hu+4 more|arXiv (Cornell University)|May 5, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

LMEye 引入了一种交互式感知网络，使大型语言模型（LLMs）能够动态地从图像中请求与任务相关的视觉特征，从而在静态视觉编码之外提升多模态理解能力。通过将基于请求的视觉交互模块与冻结的 LLM 及视觉编码器相结合，LMEye 仅使用 4.4B 参数，就在 MMBench 和 SEED-Bench 上实现了最先进（SOTA）的零样本性能，优于更大的模型如 LLaVA（7B）和 BLIP-2。

ABSTRACT

Training a Multimodal Large Language Model (MLLM) from scratch, like GPT-4, is resource-intensive. Regarding Large Language Models (LLMs) as the core processor for multimodal information, our paper introduces LMEye, a human-like eye with a play-and-plug interactive perception network, designed to enable dynamic interaction between LLMs and external vision information. Previous methods incorporate visual information into LLMs with a simple visual mapping network or Q-former from BLIP-2. Such networks project the image feature once yet do not consider the interaction between the image and the human input query. Hence, the obtained visual information without being connected to human intention may be inadequate for LLMs to generate intention-following responses, which we refer to as static visual information. LMEye addresses this issue by allowing the LLM to request the desired visual information aligned with various human instructions, which we term as the dynamic visual information interaction. Specifically, LMEye consists of a simple visual mapping network to provide the basic perception of an image for LLMs. It also contains additional modules responsible for acquiring requests from LLMs, performing request-based visual information interaction, and transmitting the resulting interacted visual information to LLMs, respectively. In this way, LLMs act to understand the human query, deliver the corresponding request to the request-based visual information interaction module, and generate the response based on the interleaved multimodal information. We evaluate LMEye through extensive experiments on some multimodal benchmarks, demonstrating that it significantly improves the zero-shot performance on various multimodal tasks compared to previous methods, with less parameters.

研究动机与目标

• 为解决现有多模态 LLM 中静态视觉特征编码的局限性，即视觉特征仅被映射一次且不与人类查询互动。
• 使 LLM 能够根据用户指令主动请求上下文相关的视觉特征，提升与任务特定意图的对齐。
• 开发一种参数高效、即插即用的框架，在不修改 LLM 架构的前提下增强多模态推理能力。
• 证明动态视觉交互可显著提升多种多模态基准上的零样本性能，即使模型参数量较小。

提出的方法

• LMEye 采用两阶段架构：首先，基于 Q-Former 的视觉映射网络为 LLM 提供基本的全局图像特征。
• 其次，基于请求的视觉信息交互（RVII）模块使 LLM 能够生成查询，以引导提取与任务相关的视觉特征。
• LLM 处理由用户查询和图像特征，随后向 RVII 模块发送请求，以检索与指令对齐的精细化视觉表征。
• RVII 模块使用注意力机制聚焦于与 LLM 请求相关的图像区域，生成交互后的视觉特征，并将其与文本和基础图像特征融合。
• 整个系统以参数高效的方式进行训练，仅微调视觉到语言适配器和 RVII 模块，而保持 LLM 和视觉编码器冻结。
• 该框架兼容多种 LLM 和视觉编码器，可无缝集成到现有多模态流水线中。

实验结果

研究问题

• RQ1 与静态视觉特征映射相比，LLM 与视觉编码器之间的动态视觉交互是否能提升零样本多模态性能？
• RQ2 基于请求的视觉交互机制在多大程度上增强了 LLM 在视觉问答和图像描述任务中生成遵循指令响应的能力？
• RQ3 像 LMEye 这样轻量级且参数高效的框架，能在多模态基准上超越更大、更复杂的多模态 LLM 吗？
• RQ4 整合多样化的多模态指令跟随数据是否能放大 LLM 中交互式感知的优势？
• RQ5 所提出的方法是否能在不修改架构的前提下，泛化到不同大小和架构的 LLM 上？

主要发现

• 当使用相同 LLM（OPT-1.3b）时，LMEye 在 OK-VQA 基准上相比标准 BLIP-2 实现了 5.0% 的绝对性能提升。
• 在长答案视觉问答任务中，LMEye 搭配 LLaMA-7b 的表现优于 LLaVA（Vicuna-7b）20%，展现出更优越的推理与生成能力。
• LMEye 仅使用 4.4B 参数，就在 MMBench 和 SEED-Bench 上达到最先进性能，超越了更大的模型如 LLaVA（7B）和 FROMAGe（6.7B）。
• 消融实验表明，RVII 模块显著提升了多种 LLM（包括 LLaMA-7b、OPT-1.3b 和 Vicuna-7b）的零样本性能。
• 该方法在多种任务中均表现出一致的性能增益，包括视觉问答、详细图像描述和多模态推理，表明其具有广泛的适用性。
• 即使使用较小的 LLM，该框架仍保持强劲性能，证明动态视觉交互可弥补模型参数量的局限。