[论文解读] Fast Video Retargeting Based on Seam Carving with Parental Labeling

Zhu Chuning|arXiv (Cornell University)|Mar 7, 2019

Visual Attention and Saliency Detection参考文献 9被引用 4

一句话总结

本文提出一种基于父节点标记的快速视频重定向方法，通过改进 seam carving 技术以减少处理时间并提升时间一致性。通过每帧同时移除多条 seam，使用带标准差滤波的时空能量缓冲区，并整合运动感知能量函数，该方法在将处理时间减少 93% 的同时，最大限度地减少了帧间不连续性。

ABSTRACT

Seam carving is a state-of-the-art content-aware image resizing technique that effectively preserves the salient areas of an image. However, when applied to video retargeting, not only is it time intensive, but it also creates highly visible frame-wise discontinuities. In this paper, we propose a novel video retargeting method based on seam carving. First, for a single frame, we locate and remove several seams instead of one seam at once. Second, we use a dynamic spatiotemporal buffer of energy maps and a standard deviation operator to carve out the same seams in a temporal cube of frames with low variation in energy. Last but not least, an improved energy function that considers motions detected through difference method is employed. During testing, these enhancements result in a 93 percent reduction in processing time and a higher frame-wise consistency, thus showing superior performance compared to existing video retargeting methods.

研究动机与目标

• 解决传统视频重定向中 seam carving 方法存在的高计算成本和时间不一致问题。
• 在保留帧间显著视觉内容的前提下，减少视频重定向的处理时间。
• 最小化因连续帧间 seam 移除不一致而引起的帧内视觉伪影。
• 通过利用运动感知能量函数和 seam 选择中的时空一致性，提升时间连贯性。
• 通过优化视频序列的 seam carving 流程，实现实时或近实时的视频重定向。

提出的方法

• 与每帧仅移除一条 seam 不同，该方法在每帧中同时移除多条 seam 以加速处理。
• 动态时空缓冲区用于存储连续帧之间的能量图，以维持 seam 选择的一致性。
• 对能量缓冲区应用标准差算子，以识别并移除时间上变化较小的 seam。
• 增强的能量函数结合通过差分法检测到的运动信息，优先选择非显著且运动不变的区域进行移除。
• 使用父节点标记来追踪和传播帧间的 seam 决策，确保空间和时间的一致性。
• 该方法将运动感知能量与时空滤波相结合，以减少帧间视觉闪烁和不连续性。

实验结果

研究问题

• RQ1 如何优化 seam carving 用于视频重定向，以在不牺牲视觉质量的前提下减少处理时间？
• RQ2 哪些机制可以改善基于 seam carving 的视频重定向中的时间一致性，以最小化帧内视觉伪影？
• RQ3 运动感知能量函数在多大程度上能提升视频序列中 seam 的选择效果？
• RQ4 使用带标准差滤波的时空能量缓冲区在维持帧间一致性方面有多有效？
• RQ5 与标准方法相比，seam 的父节点标记是否能显著提升视频重定向的一致性和性能？

主要发现

• 与传统的视频重定向 seam carving 方法相比，所提方法将处理时间减少了 93%。
• 使用带标准差滤波的时空能量缓冲区显著减少了帧内视觉不连续性。
• 通过差分法实现的运动检测提高了能量图计算和 seam 选择的准确性。
• 父节点标记实现了帧间一致的 seam 传播，减少了闪烁和视觉伪影。
• 与现有视频重定向技术相比，该方法在速度和视觉质量方面均表现出更优性能。
• 多 seam 移除与时间一致性机制的结合，使视频重定向流程更加鲁棒和高效。