[论文解读] Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos

Zhengxia Zou|arXiv (Cornell University)|Oct 22, 2020

Image Enhancement Techniques被引用 4

一句话总结

本文提出一种纯视觉驱动、实时的视频动态天空替换与融合方法，无需IMU或用户交互。该方法采用从粗到精的天空抠图网络，基于仿射天空运动模型进行运动估计，并利用天空盒实现图像扭曲、融合、再光照与色彩校正，从而在手持及行车记录仪视频中实现高保真、视觉逼真的效果，支持可控的天空风格与动态光照。

ABSTRACT

This paper proposes a vision-based method for video sky replacement and harmonization, which can automatically generate realistic and dramatic sky backgrounds in videos with controllable styles. Different from previous sky editing methods that either focus on static photos or require inertial measurement units integrated in smartphones on shooting videos, our method is purely vision-based, without any requirements on the capturing devices, and can be well applied to either online or offline processing scenarios. Our method runs in real-time and is free of user interactions. We decompose this artistic creation process into a couple of proxy tasks including sky matting, motion estimation, and image blending. Experiments are conducted on videos diversely captured in the wild by handheld smartphones and dash cameras, and show high fidelity and good generalization of our method in both visual quality and lighting/motion dynamics. Our code and animated results are available at \url{https://jiupinjia.github.io/skyar/}.

研究动机与目标

• 解决动态视频中缺乏自动、实时天空编辑方案的问题，尤其在专业影视制作流程之外的应用场景。
• 克服先前方法依赖IMU数据或仅限于静态图像的局限性。
• 实现在在线增强现实与离线视频编辑场景下的全自动、一键式天空替换。
• 通过协调前景与合成天空之间的光照、色彩与运动动态，实现视觉上逼真的融合效果。
• 在多样化的现实世界视频条件下具备泛化能力，包括不同天气、时段与相机运动。

提出的方法

• 采用基于深度学习的从粗到精天空抠图网络，预测软性天空掩膜而非二值分割，以提升边界精度。
• 引入坐标卷积（CoordConv）层以注入空间位置先验信息，增强天空边界处的抠图性能。
• 在假设天空及天空中物体位于无穷远的前提下，利用特征跟踪估计天空运动，将其建模为相对于前景的仿射运动。
• 实现天空盒模块，利用估计的运动参数对选定的天空模板进行扭曲，并通过线性混合方式与前景图像融合。
• 实施两步色彩校正：(1) 色彩迁移以对齐前景与天空的色调，(2) 再光照处理以调整环境光照，提升真实感。
• 将所有组件整合为端到端、实时的处理流水线，适用于在线与离线视频处理。

实验结果

研究问题

• RQ1 是否可以在不依赖IMU或用户交互的前提下实现视频中的动态天空替换？
• RQ2 与二值分割相比，软性天空抠图在天空替换任务中如何提升融合质量？
• RQ3 基于视觉的运动估计在真实世界视频中对天空运动的建模精度如何？
• RQ4 色彩迁移与再光照在实现前景与合成天空间视觉和谐方面的有效性如何？
• RQ5 在夜间或无纹理天空等挑战性条件下，纯视觉驱动的天空替换系统可能的失效模式是什么？

主要发现

• 所提出的两阶段软性抠图网络在天空边界处显著提升了视觉质量，尽管PSNR仅提升0.14%，表明其在边界处理上的优势明显。
• 移除坐标卷积层后，PSNR下降0.26–0.30，SSIM下降0.005–0.015，证实其在天空抠图中对空间推理的重要性。
• 色彩迁移与再光照显著提升真实感：色彩迁移有效解决色调不匹配问题，再光照增强了环境光一致性。
• 该方法在智能手机与行车记录仪采集的多样化真实世界视频上均实现高保真效果，对光照与运动动态具有强大泛化能力。
• 局限性包括在夜间视频中失效（因缺乏训练数据）以及在天空特征缺失或稀疏时出现运动估计不准的情况。
• 该框架支持可控的天气与光照过渡（如白天转夜晚、多云转雨天），展现出超越简单天空替换的实用价值。