[论文解读] LLaVA-UHD: an LMM Perceiving Any Aspect Ratio and High-Resolution Images

Ruyi Xu, Yuan Yao+8 more|arXiv (Cornell University)|Mar 18, 2024

Medical Imaging Techniques and ApplicationsMedicine被引用 3

一句话总结

LLaVA-UHD 是一个大型多模态模型，通过模块化图像编码策略、视觉标记压缩和空间标记组织，实现了对任意长宽比和高分辨率图像的高效感知。其在 TextVQA 上的准确率比 LLaVA-1.5 提高了 6.4 个百分点，并支持 672×1088 分辨率的图像输入，仅需 LLaVA-1.5 94% 的计算量，优于在 2–3 倍更多数据上训练的模型。

ABSTRACT

Visual encoding constitutes the basis of large multimodal models (LMMs) in understanding the visual world. Conventional LMMs process images in fixed sizes and limited resolutions, while recent explorations in this direction are limited in adaptivity, efficiency, and even correctness. In this work, we first take GPT-4V and LLaVA-1.5 as representative examples and expose systematic flaws rooted in their visual encoding strategy. To address the challenges, we present LLaVA-UHD, a large multimodal model that can efficiently perceive images in any aspect ratio and high resolution. LLaVA-UHD includes three key components: (1) An image modularization strategy that divides native-resolution images into smaller variable-sized slices for efficient and extensible encoding, (2) a compression module that further condenses image tokens from visual encoders, and (3) a spatial schema to organize slice tokens for LLMs. Comprehensive experiments show that LLaVA-UHD outperforms established LMMs trained with 2-3 orders of magnitude more data on 9 benchmarks. Notably, our model built on LLaVA-1.5 336x336 supports 6 times larger (i.e., 672x1088) resolution images using only 94% inference computation, and achieves 6.4 accuracy improvement on TextVQA. Moreover, the model can be efficiently trained in academic settings, within 23 hours on 8 A100 GPUs (vs. 26 hours of LLaVA-1.5). We make the data and code publicly available at https://github.com/thunlp/LLaVA-UHD.

研究动机与目标

• 解决现有 LMM 在处理高分辨率和任意长宽比图像时，因固定尺寸和固定长宽比视觉编码而带来的局限性。
• 探究并揭示 GPT-4V 和 LLaVA-1.5 等领先模型在视觉编码策略中存在的系统性缺陷，这些缺陷导致正确性问题和幻觉现象。
• 开发一种可扩展、高效且自适应的 LMM 架构，在保留视觉编码器能力的同时支持多样化的图像输入。
• 在学术资源约束下实现有效的指令微调与训练，相比基线模型显著缩短训练时间。

提出的方法

• 提出一种图像模块化策略，将原生分辨率图像划分为可变尺寸、非重叠的图像块，避免填充和失真。
• 引入压缩模块，减少视觉编码器输出的视觉标记数量，从而降低 LLM 推理成本。
• 应用空间编码机制，对图像块的相对位置进行编码，使 LLM 能够推理图像的空间布局。
• 使用感知器重采样器，聚合压缩后图像块标记的视觉特征，并将其输入 LLM。
• 通过在视觉编码器参数上进行端到端指令微调进行训练，使模型能够适应多样化的图像分布。
• 通过避免固定尺寸约束并保持与预训练 CLIP-ViT 编码器的兼容性，支持高分辨率输入。

Figure 1: Experimental results of GPT-4V in identifying numbers of objects. Note that the dashed lines in (a) are for illustration purposes only, and not presented to GPT-4V.

实验结果

研究问题

• RQ1 GPT-4V 和 LLaVA-1.5 等模型在高分辨率图像理解中出现正确性失败的根本原因是什么？
• RQ2 模块化图像编码策略是否能够实现对任意长宽比和高分辨率图像的高效且无失真处理？
• RQ3 压缩并空间组织图像块标记对下游多模态推理性能有何影响？
• RQ4 在视觉编码器参数上进行指令微调，能在多大程度上提升模型在多样化图像输入上的泛化能力？
• RQ5 该模型能否在远少于现有 LMM 所需的训练数据和计算量下，实现最先进性能？

主要发现

• LLaVA-UHD 在 TextVQA 上相比 LLaVA-1.5 准确率提升 6.4 个百分点，展现出更优的细粒度视觉理解能力。
• 该模型仅需 LLaVA-1.5 94% 的推理计算量，即可支持 672×1088 分辨率图像，实现在近似恒定成本下提升分辨率。
• 在 9 项基准测试中，其性能优于在 2–3 个数量级更多数据上训练的成熟 LMM，表明其具有极高的数据效率。
• 在 8 张 A100 GPU 上，训练时间缩短至 23 小时，相比 LLaVA-1.5 的 26 小时，展现出更高的训练效率。
• 该模型在极端长宽比图像上保持强劲性能，且随着图像长宽比偏离正方形的程度增加，性能提升更加显著。
• 机制分析表明，视觉编码策略是 GPT-4V 和 LLaVA-1.5 等模型产生幻觉和正确性失败的关键原因。

Figure 2: Results on probing GPT-4V via continuously changing image resolutions.