Skip to main content
QUICK REVIEW

[论文解读] MobileVLM : A Fast, Strong and Open Vision Language Assistant for Mobile Devices

Xiangxiang Chu, Limeng Qiao|arXiv (Cornell University)|Dec 28, 2023
Multimodal Machine Learning ApplicationsComputer Science被引用 11
一句话总结

MobileVLM 引入开放、移动友好的视觉-语言模型(1.4B 和 2.7B),配备轻量级下采样投影仪和 MobileLLaMA,在移动 CPU 和 GPU 上实现接近最先进推理速度的竞争性 VLM 性能。

ABSTRACT

We present MobileVLM, a competent multimodal vision language model (MMVLM) targeted to run on mobile devices. It is an amalgamation of a myriad of architectural designs and techniques that are mobile-oriented, which comprises a set of language models at the scale of 1.4B and 2.7B parameters, trained from scratch, a multimodal vision model that is pre-trained in the CLIP fashion, cross-modality interaction via an efficient projector. We evaluate MobileVLM on several typical VLM benchmarks. Our models demonstrate on par performance compared with a few much larger models. More importantly, we measure the inference speed on both a Qualcomm Snapdragon 888 CPU and an NVIDIA Jeston Orin GPU, and we obtain state-of-the-art performance of 21.5 tokens and 65.3 tokens per second, respectively. Our code will be made available at: https://github.com/Meituan-AutoML/MobileVLM.

研究动机与目标

  • 开发开放、可复现的移动规模视觉-语言模型,从零开始训练
  • 评估体系结构选择并对可视编码器、输入分辨率和模型规模进行消融,以提升移动端效率
  • 设计一个高效的投影仪,将视觉空间与文本空间对齐,同时降低推理成本
  • 展示在移动 CPU 和独立 GPU 上的实时设备端推理速度
  • 在标准 VLM 基准测试中展示出色的性能,尽管训练数据有限

提出的方法

  • 使用 CLIP 风格的 ViT-L/14 作为视觉主干网络(336×336)
  • 使用 Lightweight Downsample Projector (LDP) 对视觉特征进行下采样并对齐,以生成多模态标记
  • 采用 MobileLLaMA—面向边缘的 1.4B 与 2.7B 大语言模型,从零开始训练并通过监督微调进行调整
  • 在 RedPajama v1 文本语料库上对 LLM 进行预训练,然后使用多轮对话数据(Vicuna 风格)进行微调
  • 以两阶段方式训练视觉-语言模型:在训练投影仪时冻结视觉编码器和 LLM,然后联合微调投影仪和 LLM
  • 在 Snapdragon 888 和 NVIDIA Jetson Orin 上评估推理延迟,报告每秒 token 数和端到端吞吐量

实验结果

研究问题

  • RQ1开放、移动规模的视觉-语言模型是否能够在显著减少参数和训练数据的情况下实现具有竞争力的性能?
  • RQ2轻量级投影仪是否能够有效对齐视觉和语言表示以实现移动推理?
  • RQ3在常见边缘硬件上,MobileVLM 的设备端延迟和吞吐量是多少?
  • RQ4在移动约束下,MobileVLM 相较于更大规模的开源 VLM 在标准基准上的表现如何?

主要发现

  • MobileVLM 在标准 VLM 基准上取得具有竞争力的结果,尽管规模和训练数据较小
  • The Lightweight Downsample Projector 将视觉标记数量减少约75%,并提升推理速度
  • MobileLLaMA 模型(1.4B 和 2.7B)展现出强大的语言能力并在移动 CPU 和 GPU 上具有有利的速度
  • 在 Snapdragon 888 CPU 上达到 21.5 tokens/s,在 NVIDIA Jetson Orin GPU 上达到 65.3 tokens/s
  • LoRA-truncated 微调在可训练参数显著更少的情况下仍能提供与完全微调相当的性能
  • MobileVLM 在多项基准测试(GQA、POPE、MMBench)上与若干更大规模的开源 VLMs 具有同等或更优的表现,且部署更适合边缘设备

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。