[论文解读] DeepMag: Source Specific Motion Magnification Using Gradient Ascent

Weixuan Chen, Daniel McDuff|arXiv (Cornell University)|Aug 9, 2018

Advanced Optical Sensing Technologies被引用 11

一句话总结

DeepMag 提出了一种端到端的深度学习框架，用于在使用 L1 归一化和符号校正的梯度上升法下进行源特定的运动放大，能够在存在大范围刚性头部运动的情况下，稳健地放大微弱的生理信号（如脉搏和呼吸）。与最先进方法相比，该方法显著减少了伪影并保持了更高的视频质量。

ABSTRACT

Many important physical phenomena involve subtle signals that are difficult to observe with the unaided eye, yet visualizing them can be very informative. Current motion magnification techniques can reveal these small temporal variations in video, but require precise prior knowledge about the target signal, and cannot deal with interference motions at a similar frequency. We present DeepMag an end-to-end deep neural video-processing framework based on gradient ascent that enables automated magnification of subtle color and motion signals from a specific source, even in the presence of large motions of various velocities. While the approach is generalizable, the advantages of DeepMag are highlighted via the task of video-based physiological visualization. Through systematic quantitative and qualitative evaluation of the approach on videos with different levels of head motion, we compare the magnification of pulse and respiration to existing state-of-the-art methods. Our method produces magnified videos with substantially fewer artifacts and blurring whilst magnifying the physiological changes by a similar degree.

研究动机与目标

• 解决现有运动放大方法在大干扰运动下失效且需要精确频率知识的局限性。
• 实现在视频中对微弱颜色和运动变化的端到端、源特定的放大，尤其针对生理信号。
• 开发一种基于梯度上升的框架，对大范围刚性运动具有鲁棒性并保持视觉质量。
• 系统性地评估在不同头部运动水平下的性能，并与最先进方法进行比较。
• 证明该方法在不引入模糊或伪影的情况下，有效放大脉搏和呼吸信号。

提出的方法

• 该方法使用深度卷积神经网络（CNN）作为视频运动判别器，从干扰运动中分离出特定源信号。
• 在 CNN 的输入空间中执行梯度上升，以放大目标信号，同时保留其他运动分量。
• 对梯度应用 L1 归一化，以确保所有视频帧中放大程度的一致性。
• 引入符号校正以防止放大过程中运动方向反转，从而减少模糊。
• 该框架端到端训练，可适用于任何特定源的运动或颜色变化。
• 通过 PSNR 和 SSIM 指标评估方法，以量化视频质量和信号保真度。

实验结果

研究问题

• RQ1 基于深度学习的梯度上升方法是否能在无需预先知道频率的情况下，有效放大微弱的生理信号？
• RQ2 在存在大范围干扰性刚性运动（如头部运动）的情况下，该方法表现如何？
• RQ3 L1 归一化和符号校正在多大程度上减少了伪影并提升了放大视频的视觉质量？
• RQ4 该方法在定量和定性方面与最先进运动放大技术相比表现如何？
• RQ5 该方法是否能够同时放大并合成不同频率的生理信号？

主要发现

• DeepMag 在高刚性运动条件下，伪影水平显著低于最先进方法。
• 该方法在不同运动水平下均保持较高的 PSNR 和 SSIM 值，表明视频质量保持能力优越。
• L1 归一化通过将梯度分布与输入运动表示对齐，确保了帧间放大的一致性。
• 符号校正消除了运动放大中的负相关性，减少了人体区域的模糊。
• 学习曲线显示，较小的步长配合更多迭代次数，相比大步长配合较少迭代，能实现更高效的放大。
• 该方法在干扰运动频率相近的情况下，仍能有效放大脉搏（PPG）和呼吸信号，且退化最小。