[论文解读] LAVIS: A Library for Language-Vision Intelligence

Dongxu Li, Junnan Li+4 more|arXiv (Cornell University)|Sep 15, 2022

Multimodal Machine Learning Applications被引用 21

一句话总结

LAVIS 是一个开源库，提供统一接口，用于训练、评估并部署最先进的语言-视觉模型，覆盖图像-文本和视频-文本任务，拥有大量数据集、预训练检查点和实用工具。

ABSTRACT

We introduce LAVIS, an open-source deep learning library for LAnguage-VISion research and applications. LAVIS aims to serve as a one-stop comprehensive library that brings recent advancements in the language-vision field accessible for researchers and practitioners, as well as fertilizing future research and development. It features a unified interface to easily access state-of-the-art image-language, video-language models and common datasets. LAVIS supports training, evaluation and benchmarking on a rich variety of tasks, including multimodal classification, retrieval, captioning, visual question answering, dialogue and pre-training. In the meantime, the library is also highly extensible and configurable, facilitating future development and customization. In this technical report, we describe design principles, key components and functionalities of the library, and also present benchmarking results across common language-vision tasks. The library is available at: https://github.com/salesforce/LAVIS.

研究动机与目标

• 为跨越多种任务和数据集的语言-视觉模型提供一个统一、模块化的训练与评估框架。
• 为可重复性研究提供对预训练和微调基础模型及其检查点的便捷访问。
• 通过数据集自动下载、GUI 数据集浏览器以及现成可用的基准和配置来降低研究成本。
• 促进扩展性，以支持新模型、任务和数据集，并推动在学术界和工业界的更广泛采用。

提出的方法

• 引入一个统一的、模块化的库架构，包含 runners、tasks、datasets、models 和 processors。
• 支持图像-文本和视频-文本任务，覆盖超过 20 个公开数据集和 10 个以上任务。
• 提供对四个基础模型（ALBEF、BLIP、CLIP、ALPRO）的超过 30 个预训练与任务特定微调检查点的访问。
• 整合数据集下载工具、GUI 数据集浏览器、数据集卡片和网络演示，以提高可用性和可重复性。
• 基准复制以将实现与官方结果进行对比验证，并展示跨任务的适应性。

实验结果

研究问题

• RQ1 一个统一的模块化框架是否能够让人们在广泛的任务和数据集上便捷访问最先进的语言-视觉模型？
• RQ2 在多个基础模型和任务中，LAVIS 的复制基准与官方模型性能的对齐程度如何？
• RQ3 哪些辅助工具（自动下载、GUI 浏览器、演示）能提高语言-视觉研究的可用性和可重复性？
• RQ4 在多大程度上可以扩展该库以在最小工程量下支持新任务、数据集和模型？

主要发现

• LAVIS 提供用于训练、评估和基准测试语言-视觉模型的统一接口和模块化设计。
• 该库支持超过 20 个公开数据集和超过 10 个任务的图像-文本与视频-文本任务。
• 用户可以访问来自四个基础模型：ALBEF、BLIP、CLIP、ALPRO 的超过 30 个预训练和任务特定微调的检查点。
• 实验基准显示在多个模型和任务中，复制的结果与官方结果高度一致。
• 该框架使对新任务和数据集（如 KVQA、Video Dialogue）的适应成为可能，且具有竞争力的性能。
• 额外资源（预训练检查点、自动数据集下载、GUI 演示和数据集浏览器）降低了复制和部署的门槛。