[论文解读] Large-Scale Automatic Labeling of Video Events with Verbs Based on Event-Participant Interaction

Andrei Barbu, Alexander Bridge+13 more|arXiv (Cornell University)|Apr 16, 2012

Human Pose and Action Recognition参考文献 13被引用 4

一句话总结

本文提出一种仅利用事件参与者粗粒度时空运动（具体为边界框轨迹）的大规模自动视频事件标注方法，不依赖物体类别、图像特征或身体姿态。在1/22个动词分类任务中准确率超过70%，在1/10子集任务中超过85%，表明动词级事件识别更依赖于基于运动的语言学不变性，而非复杂分类器或详细视觉特征。

ABSTRACT

We present an approach to labeling short video clips with English verbs as event descriptions. A key distinguishing aspect of this work is that it labels videos with verbs that describe the spatiotemporal interaction between event participants, humans and objects interacting with each other, abstracting away all object-class information and fine-grained image characteristics, and relying solely on the coarse-grained motion of the event participants. We apply our approach to a large set of 22 distinct verb classes and a corpus of 2,584 videos, yielding two surprising outcomes. First, a classification accuracy of greater than 70% on a 1-out-of-22 labeling task and greater than 85% on a variety of 1-out-of-10 subsets of this labeling task is independent of the choice of which of two different time-series classifiers we employ. Second, we achieve this level of accuracy using a highly impoverished intermediate representation consisting solely of the bounding boxes of one or two event participants as a function of time. This indicates that successful event recognition depends more on the choice of appropriate features that characterize the linguistic invariants of the event classes than on the particular classifier algorithms.

研究动机与目标

• 评估语言学假设：动词通过参与者粗粒度运动描述事件语义，与物体身份或视觉细节无关。
• 开发一种仅依赖事件参与者时空运动模式的可扩展、自动化的视频标注系统。
• 测试在不使用物体类别、图像纹理、形状或身体姿态信息的情况下，是否可实现高准确率的动词分类。
• 在最小特征表示下，比较不同时间序列分类器（HMM与DTW）的性能。
• 证明分类准确率更依赖于特征选择，而非分类器架构。

提出的方法

• 该方法仅使用一个或两个事件参与者的时间序列边界框作为唯一输入表示。
• 通过两种时间序列分类器建模事件动态：隐马尔可夫模型（HMMs）和动态时间规整（DTW）。
• 通过在五个随机数据划分上进行交叉验证，执行22个动词类别中的强制选择任务进行动词分类。
• 从追踪参与者轨迹中提取特征，完全抽象出所有物体特异性和图像级特征。
• 该方法明确舍弃物体类别、身体姿态和低级视觉特征，以隔离粗粒度运动在动词语义中的作用。
• 通过多次交叉验证运行计算混淆矩阵和准确率指标，以评估结果的鲁棒性和一致性。

实验结果

研究问题

• RQ1 是否仅使用参与者粗粒度运动轨迹，无需物体或图像级特征，即可实现动词级视频事件分类？
• RQ2 在最小特征表示下，时间序列分类器选择（HMM与DTW）是否显著影响性能？
• RQ3 动词分类性能在多大程度上依赖于特征选择而非分类器架构？
• RQ4 性能在不同动词类别子集上（特别是1/10任务）如何变化？
• RQ5 在大规模计算机视觉设置中，动词通过粗粒度运动编码参与者交互的语言学假设是否成立？

主要发现

• 使用HMM时，1/22动词标注任务的总体分类准确率为71.9%，使用DTW时为71.3%，显著高于随机水平（4.5%）。
• 在多个1/10动词类别子集上，HMM与DTW的准确率均超过85%，范围在85.1%至87.5%之间。
• HMM与DTW在所有交叉验证运行中性能几乎完全一致，表明分类器选择对结果影响极小。
• 仅使用边界框轨迹即实现高准确率，表明运动中的语言学不变性足以支持动词识别。
• 结果支持语言学假设：动词通过粗粒度参与者运动编码事件语义，与物体身份或视觉细节无关。
• 即使物体类别信息存在且与动词类别高度相关，该方法在不使用该信息的情况下仍保持优异性能，凸显了仅使用运动特征的充分性。