[论文解读] A Restricted Visual Turing Test for Deep Scene and Event Understanding

H. Jerry Qi, Tianfu Wu+2 more|arXiv (Cornell University)|Dec 6, 2015

Multimodal Machine Learning Applications参考文献 35被引用 13

一句话总结

本文提出了一种受限视觉图灵测试（VTT），用于在长期、多摄像头视频中实现深度场景与事件理解，采用基于故事情节的查询，要求进行联合的空间、时间与因果推理。该系统整合了视觉模块、知识库与查询引擎，能够解析视频并以自然语言或二元形式回答查询，在涵盖93.5小时视频的3,426个查询基准中，非定义类查询的准确率达到81%。

ABSTRACT

This paper presents a restricted visual Turing test (VTT) for story-line based deep understanding in long-term and multi-camera captured videos. Given a set of videos of a scene (such as a multi-room office, a garden, and a parking lot.) and a sequence of story-line based queries, the task is to provide answers either simply in binary form "true/false" (to a polar query) or in an accurate natural language description (to a non-polar query). Queries, polar or non-polar, consist of view-based queries which can be answered from a particular camera view and scene-centered queries which involves joint inference across different cameras. The story lines are collected to cover spatial, temporal and causal understanding of input videos. The data and queries distinguish our VTT from recently proposed visual question answering in images and video captioning. A vision system is proposed to perform joint video and query parsing which integrates different vision modules, a knowledge base and a query engine. The system provides unified interfaces for different modules so that individual modules can be reconfigured to test a new method. We provide a benchmark dataset and a toolkit for ontology guided story-line query generation which consists of about 93.5 hours videos captured in four different locations and 3,426 queries split into 127 story lines. We also provide a baseline implementation and result analyses.

研究动机与目标

• 为长期、多摄像头视频中联合的空间、时间与因果理解缺乏评估框架的问题提供解决方案。
• 开发一种基于本体引导的故事情节查询的受限VTT，超越基于图像的VQA与视频字幕任务。
• 创建一个基准数据集与工具包，用于生成高质量、结构化的查询，涵盖空间、时间与因果关系。
• 设计一种模块化视觉系统，支持各组件的即插即用式替换，以实现方法评估。
• 通过要求提供答案的显式中间推理轨迹，增强对视觉系统结果的信任。

提出的方法

• 该系统采用统一架构，整合视频解析、目标检测、跟踪、重识别以及以场景为中心的3D表征，实现多摄像头视频理解。
• 知识库存储以场景为中心的表征，包括3D布局、物体角色与空间关系，支持跨摄像头的联合推理。
• 查询引擎通过解析谓词与关系来处理故事情节查询，区分基于视图的查询与以场景为中心的查询。
• 使用选定的本体生成查询，以确保质量与一致性，避免众包开放式问题带来的噪声。
• 系统支持二元（真/假）与自然语言回答，其中对象定义查询用于建立后续查询的互指关系。
• 工具包支持可控复杂度的故事情节规模化生成，支持对单个模块进行独立评估。

实验结果

研究问题

• RQ1 视觉系统能否在长期、多摄像头视频中实现对场景与事件的联合空间、时间与因果理解？
• RQ2 基于本体引导的故事情节查询的受限VTT在评估深度场景理解方面，相较于传统准确率指标，效果如何？
• RQ3 具备可插拔组件的模块化视觉系统，在处理涉及空间与因果推理的复杂多谓词查询时，其能力边界如何？
• RQ4 在涉及人-物交互与场景级关系的推理任务中，与基础检测与计数任务相比，性能差距有多大？
• RQ5 视觉系统能否提供可解释的推理轨迹，从而增强对其答案的信任？

主要发现

• 原型系统在非定义类查询上达到81%的准确率，其中243个对象定义查询中有197个被正确检测。
• 随着每个查询中谓词数量的增加，准确率下降，尤其在超过三个谓词的查询中显著降低，主要由于错误传播。
• 系统在基础视觉任务（如检测、部分关系、动作识别）上表现良好，但在空间推理与人-物交互方面表现较弱。
• 涉及空间推理与人-物交互的查询最具挑战性，表明该领域仍存在开放性研究问题。
• 对象定义查询未纳入准确率计算，因为其作用是建立互指知识，而简单的‘真’响应无法反映实际检测性能。
• 系统在两周内使用10台工作站集群成功处理了1,160个查询，证明了其在大规模评估中的可扩展性。