[论文解读] MM-VID: Advancing Video Understanding with GPT-4V(ision)

Kevin Lin, S. Faisal Ahmed+10 more|arXiv (Cornell University)|Oct 30, 2023

Multimodal Machine Learning Applications被引用 10

一句话总结

MM-Vid 将 GPT-4V(视觉) 与专门的视觉、音频、语音工具结合，能够从视频生成长文本脚本，实现基于证据的问答、多模态推理及对小时级视频和多集内容的交互任务。

ABSTRACT

We present MM-VID, an integrated system that harnesses the capabilities of GPT-4V, combined with specialized tools in vision, audio, and speech, to facilitate advanced video understanding. MM-VID is designed to address the challenges posed by long-form videos and intricate tasks such as reasoning within hour-long content and grasping storylines spanning multiple episodes. MM-VID uses a video-to-script generation with GPT-4V to transcribe multimodal elements into a long textual script. The generated script details character movements, actions, expressions, and dialogues, paving the way for large language models (LLMs) to achieve video understanding. This enables advanced capabilities, including audio description, character identification, and multimodal high-level comprehension. Experimental results demonstrate the effectiveness of MM-VID in handling distinct video genres with various video lengths. Additionally, we showcase its potential when applied to interactive environments, such as video games and graphic user interfaces.

研究动机与目标

• 解决对长篇多模态视频的理解挑战（小时级内容和多集叙事）。
• 开发一个将视频内容转化为长文本剧本的管线，以便让大语言模型进行高级推理。
• 实现基于证据的问答、角色/说话者识别，以及跨多种视频类型的多模态推理。
• 在如视频游戏和图形界面导航等交互环境中展示 MM-Vid 的能力。
• 通过音频描述生成和针对视觉障碍者的用户研究来评估可及性方面。

提出的方法

• 四模块管线：多模态预处理、外部知识收集、剪辑级视频描述生成与剧本生成。
• 使用 ASR 和场景检测将视频分割为剪辑（典型为 10 帧剪辑）。
• 利用 GPT-4V 从帧和提示中生成剪辑级描述，并通过视觉提示（角色面部照片）提升识别。
• 结合视频元数据与 ASR，使用 GPT-4 汇总剪辑级描述，生成连贯的全视频剧本。
• 在流式场景中应用 GPT-4V 以支持动态环境中的连续感知（游戏、GUI）。
• 加入自我 refinement 步骤，使用初始剧本和摘要来修订剧本以降低不准确性。

实验结果

研究问题

• RQ1 MM-Vid 如何有效地将小时级或多集视频转写并描述为连贯、可搜索的剧本？
• RQ2 基于 GPT-4VV 的管线是否能够在长视频中支持基于证据的问答、角色/说话者识别与多模态推理？
• RQ3 外部知识（元数据、标题、摘要、面部图像）对描述质量和 grounding 的影响是什么？
• RQ4 MM-Vid 在流式/交互上下文（游戏、GUI 导航）以及无障碍性（音频描述）方面的表现如何？

主要发现

• MM-Vid 产生长剪辑级描述，使全视频剧本在 ASR 与元数据条件下保持连贯。
• 系统支持带有正确时间戳与事件定位的基于证据的问答（如用时间戳高亮一个本垒打）。
• 使用带有角色面部照片的视觉提示可提升角色识别与整体剧本质量。
• MM-Vid 展示出跨视频跨剧集的多模态推理能力，结合视频帧、字幕与外部知识进行推理。
• MM-Vid 生成的音频描述在表达、信息含量与语音质量方面与人工描述高度接近，存在一些重叠和偶发的不准确性。
• MM-Vid 在交互环境中具备能力，包括具身代理、游戏玩法与 GUI 导航，能够处理流式输入。