[论文解读] Across Scales & Across Dimensions: Temporal Super-Resolution using Deep Internal Learning

Liad Pollak Zuckerman, Eyal Naor+3 more|arXiv (Cornell University)|Mar 19, 2020

Advanced Image Processing Techniques参考文献 24被引用 6

一句话总结

本文提出一种基于深度内部学习的零样本时域超分（TSR）方法，仅使用输入低帧率视频中的内部样本训练视频专用卷积神经网络（CNN）。通过在不同尺度及空间-时间维度间（例如，交换空间与时间）利用循环的空间-时间块，该方法恢复了丢失的高时域频率，有效消除运动模糊与混叠效应——其性能优于在外部数据集上训练的监督方法。

ABSTRACT

When a very fast dynamic event is recorded with a low-framerate camera, the resulting video suffers from severe motion blur (due to exposure time) and motion aliasing (due to low sampling rate in time). True Temporal Super-Resolution (TSR) is more than just Temporal-Interpolation (increasing framerate). It can also recover new high temporal frequencies beyond the temporal Nyquist limit of the input video, thus resolving both motion-blur and motion-aliasing effects that temporal frame interpolation (as sophisticated as it maybe) cannot undo. In this paper we propose a "Deep Internal Learning" approach for true TSR. We train a video-specific CNN on examples extracted directly from the low-framerate input video. Our method exploits the strong recurrence of small space-time patches inside a single video sequence, both within and across different spatio-temporal scales of the video. We further observe (for the first time) that small space-time patches recur also across-dimensions of the video sequence - i.e., by swapping the spatial and temporal dimensions. In particular, the higher spatial resolution of video frames provides strong examples as to how to increase the temporal resolution of that video. Such internal video-specific examples give rise to strong self-supervision, requiring no data but the input video itself. This results in Zero-Shot Temporal-SR of complex videos, which removes both motion blur and motion aliasing, outperforming previous supervised methods trained on external video datasets.

研究动机与目标

• 解决时域帧插值在处理低帧率和长曝光时间导致的运动模糊与运动混叠方面的局限性。
• 开发一种真正的时域超分（TSR）方法，以恢复超出输入视频奈奎斯特极限的高时域频率。
• 仅使用输入视频本身作为训练数据，实现零样本TSR，无需依赖外部数据集。
• 探索并利用小空间-时间块在空间与时间维度内部及跨维度的重复性，以实现自监督。

提出的方法

• 仅使用从输入低帧率视频中提取的内部样本，训练视频专用卷积神经网络（CNN）。
• 从同一视频序列内的更粗粒度时空尺度中提取训练样本（维度内块）。
• 通过交换空间与时间维度引入跨维度块增强，利用更高的空间分辨率来指导时域超分。
• 采用多尺度反投影框架，从内部预测结果重建高时域分辨率视频。
• 采用基于小空间-时间块在不同尺度与维度间重复性的自监督损失函数。
• 进行消融研究，比较仅使用维度内与跨维度训练样本的性能，并针对每段视频自适应配置模型。

实验结果

研究问题

• RQ1 在不同尺度与维度间，空间-时间块的内部重复性是否能有效支持时域超分的自监督训练？
• RQ2 跨维度块重复性（交换空间与时间）是否能提供比维度内重复性更丰富的训练信号？
• RQ3 视频专用的内部学习方法是否在复杂非刚性运动场景中优于外部训练的监督方法？
• RQ4 内部学习能否在帧插值失效时，同时解决运动模糊与运动混叠问题？
• RQ5 不同视频特性（如刚性运动与非刚性运动）如何影响内部训练数据最优配置（维度内 vs. 跨维度）？

主要发现

• 该方法在复杂动态场景中表现优异，尤其在非刚性运动区域（如火焰、水流、呼啦圈）中，优于最先进的监督方法（如Flawless）。
• 平均而言，跨维度块增强使PSNR提升0.28 dB，SSIM提升0.002，LPIPS降低0.002，相较于仅使用维度内训练。
• 当每段视频均采用其最优配置（维度内、跨维度或两者结合）时，方法达到PSNR 34.33 dB、SSIM 0.965、LPIPS 0.032，性能进一步提升。
• 具有大范围均匀运动的视频（如下落的钻石）从跨维度训练中获益更多，而具有渐进或旋转运动的视频则更偏好使用维度内样本。
• 该方法成功解决了真实视频中的运动混叠与模糊问题（如旋转风扇、快速移动的车轮），在帧插值失效时恢复了正确的运动方向与清晰度。
• 消融研究证实，平均而言，跨维度块重复性比维度内重复性更具信息量，但最优性能仍需根据视频特性进行自适应配置。