[论文解读] Framework for Motorcycle Risk Assessment Using Onboard Panoramic Camera (Short Paper)

Jongwiriyanurak, Natchapon, Zeng, Zichao+4 more|arXiv (Cornell University)|Jan 1, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出 Video ChatCaptioner，一种新颖的框架，通过 ChatGPT 与 BLIP-2 之间的交互式问答，生成更加丰富、时空细节详尽的视频描述。通过让 ChatGPT 选择帧并提出内容驱动的问题，同时由 BLIP-2 回答这些问题，该系统合成出全面的字幕，其在人类评估中的表现优于真实字幕，62.5% 的参与者一致认为其视觉细节覆盖更全面。

ABSTRACT

Traditional safety analysis methods based on historical crash data and simulation models have limitations in capturing real-world driving scenarios. In this experiment, panoramic videos recorded from a motorcyclist’s helmet in Bangkok, Thailand, were narrated using an image-to-text model and then put into a Large Language Model (LLM) to identify potential hazards and assess crash risks. The framework can assess static and moving objects with the potential for early warning and incident analysis. However, the limitations of the existing image-to-text model cause its inability to handle panoramic images effectively.

研究动机与目标

• 为解决生成能捕捉复杂时空信息、超越现有真实字幕的详细丰富视频描述的挑战。
• 克服现有视频字幕模型的局限性，这些模型常因训练数据稀疏和模型无法捕捉运动与关系而遗漏细粒度视觉细节。
• 开发一种不依赖大规模视频-文本数据集或在这些数据上预训练的模型的框架，以实现更可扩展、更灵活的视频描述生成。
• 通过利用多轮视觉问答提升视频描述的全面性，以揭示诸如动作、属性和关系等复杂视觉元素。

提出的方法

• ChatGPT 作为控制器，从视频中选择特定帧，并基于这些帧生成内容驱动的视觉问题。
• BLIP-2 作为视觉问答（VQA）模型，使用对应视频帧作为输入来回答每个问题。
• 该系统采用多轮问答交互协议，对视频序列中的视觉信息进行迭代式提取。
• 通过提示工程策略，确保 ChatGPT 以严格格式（例如，Frame_1: question）生成帧 ID，以实现对帧的准确索引并保证输入 BLIP-2 的一致性。
• 在收集多个问答对后，ChatGPT 通过将所有提取的视觉细节整合为连贯的叙述，生成最终的丰富视频字幕。
• 使用正则表达式从 ChatGPT 的输出中提取帧 ID，以确保与视频帧的正确对齐。

实验结果

研究问题

• RQ1 语言模型与视觉-语言模型之间的交互式问答框架，能否生成比标准真实字幕更详细的视频描述？
• RQ2 ChatGPT 在无直接视觉访问的情况下，能在多大程度上通过有针对性的问题引导提取丰富的时空细节？
• RQ3 所提出的方法在捕捉标准字幕中未包含的复杂视觉元素（如动作、属性和关系）方面有多有效？
• RQ4 该框架是否能降低对大规模视频-文本数据集进行训练的依赖，同时仍实现高质量的字幕生成？

主要发现

• 人类评估显示，62.5% 的参与者一致认为 Video ChatCaptioner 生成的视频描述比真实字幕更具信息量和细节。
• 该框架成功捕捉了细粒度的视觉细节，例如特定动作（如“在杆上保持平衡”）、服装（如“头盔、粉红色连衣裙”）以及环境背景（如“雪地山脉、带长凳的健身房”）。
• 定性示例表明，Video ChatCaptioner 能识别同步舞蹈、明显服饰差异以及多人同时执行动作等特征，而这些在标准字幕中常被忽略。
• 该系统生成多样化的视觉问题，提升了对各帧视觉内容的覆盖范围，从而增强了整体描述的丰富性。
• 尽管具备诸多优势，该系统仍因帧采样限制以及语言模型缺乏时间定位能力，偶尔无法一致追踪多个对象或人物。