[论文解读] Event Matching from Significantly Different Views using Motion Barcodes.

Gil Ben-Artzi, Michael Werman+1 more|arXiv (Cornell University)|Dec 3, 2014

Advanced Image and Video Retrieval Techniques参考文献 24被引用 3

一句话总结

本文提出运动条形码——一种视角不变的视频特征，通过编码随时间变化的运动存在性，实现在显著不同的摄像机视角下对事件进行鲁棒匹配。通过聚焦于运动是否存在而非外观或运动方向，该方法在存在遮挡和视角差异的挑战性场景中实现了高相似度匹配准确率，优于基于外观的方法。

ABSTRACT

We introduce a method to determine if two videos are of the same event even when they are taken from significantly different viewing directions. Based on this, a video can be retrieved from a database of events, and video collections can be clustered into sets of videos each viewing the same event. Our method works well even in cases where the videos are so different that appearance based methods (e.g. SIFT) are not sufficient. This viewpoint invariance is based on a new pixelbased feature, “motion barcode”, which records the existence/non-existence of motion as a function of time. While appearance, motion magnitude, and motion direction can vary between viewpoints, the existence of motion is viewpoint invariant. Based on the motion barcode, a similarity measure is developed for videos from very different viewpoints. This measure is robust to occlusions common under different viewpoints and can be computed efficiently We show the utility of motion barcodes using challenging sequences from stationary and hand held cameras.

研究动机与目标

• 解决在摄像机视角截然不同情况下匹配同一事件视频的挑战。
• 开发一种在视角变化下保持不变的特征表示，尤其在基于外观的方法（如SIFT）失效时仍有效。
• 实现从多样化摄像机视角中对事件相关视频进行高效检索与聚类。
• 创建一种对遮挡和视角变化具有鲁棒性的相似度度量方法。

提出的方法

• 提出运动条形码作为基于像素的特征，记录视频中运动在时间上的存在或缺失。
• 通过分析每个像素随时间的运动，将运动存在性编码为二进制序列，构建运动条形码。
• 基于运动条形码对齐设计相似度度量，用于比较不同视角下的视频。
• 利用运动存在性对视角的不变性——不同于运动幅值或方向——以确保匹配的鲁棒性。
• 设计方法时兼顾计算效率，并增强对真实视频数据集中常见遮挡的鲁棒性。

实验结果

研究问题

• RQ1 运动条形码能否有效匹配从截然不同视角拍摄的同一事件视频？
• RQ2 在存在遮挡和摄像机角度变化的情况下，运动条形码相似度度量的性能如何？
• RQ3 在视角不变的视频检索中，运动条形码匹配方法相较于基于外观的方法（如SIFT）的优越程度如何？
• RQ4 运动条形码能否在多样化摄像机视角下实现对视频集合按事件进行准确聚类？

主要发现

• 即使在拍摄视角截然不同的情况下，运动条形码也能实现高匹配准确率，有效识别同一事件的视频。
• 在视觉外观显著变化的场景中，该方法优于基于外观的方法（如SIFT）。
• 运动条形码相似度对遮挡具有鲁棒性，并在静态和手持摄像机录制的视频中均保持良好性能。
• 该方法能够有效实现从多样化摄像机角度获取的事件相关视频的检索与聚类。