[论文解读] Harmonizer: Learning to Perform White-Box Image and Video Harmonization

Zhanghan Ke, Chunyi Sun+3 more|arXiv (Cornell University)|Jul 4, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

Harmonizer 提出了一种白盒、轻量级的图像与视频一致化框架，通过回归图像级滤镜参数（例如亮度、对比度）而非使用黑盒自编码器来实现。该方法在 1080P 分辨率下实现 56 fps 的推理速度，性能达到当前最先进水平，且显著快于先前方法，同时保持了高保真度和帧间一致性。

ABSTRACT

Recent works on image harmonization solve the problem as a pixel-wise image translation task via large autoencoders. They have unsatisfactory performances and slow inference speeds when dealing with high-resolution images. In this work, we observe that adjusting the input arguments of basic image filters, e.g., brightness and contrast, is sufficient for humans to produce realistic images from the composite ones. Hence, we frame image harmonization as an image-level regression problem to learn the arguments of the filters that humans use for the task. We present a Harmonizer framework for image harmonization. Unlike prior methods that are based on black-box autoencoders, Harmonizer contains a neural network for filter argument prediction and several white-box filters (based on the predicted arguments) for image harmonization. We also introduce a cascade regressor and a dynamic loss strategy for Harmonizer to learn filter arguments more stably and precisely. Since our network only outputs image-level arguments and the filters we used are efficient, Harmonizer is much lighter and faster than existing methods. Comprehensive experiments demonstrate that Harmonizer surpasses existing methods notably, especially with high-resolution inputs. Finally, we apply Harmonizer to video harmonization, which achieves consistent results across frames and 56 fps at 1080P resolution. Code and models are available at: https://github.com/ZHKKKe/Harmonizer.

研究动机与目标

• 解决基于自编码器的图像一致化方法存在的局限性，包括高分辨率性能差、推理速度慢以及黑盒特性。
• 探究是否可通过可学习、可解释的滤镜调节而非像素级转换来实现类人图像一致化。
• 设计一种轻量化、高效且稳定的框架，以在视频一致化中保持帧间视觉一致性。
• 通过解决滤镜间相互依赖性及训练过程中的损失不平衡问题，提升滤镜参数预测性能。

提出的方法

• Harmonizer 将图像一致化建模为图像级回归问题，预测用于白盒滤镜的滤镜参数（例如亮度、对比度、色温）
• 采用级联回归器，按顺序预测滤镜参数，以减少相互依赖滤镜之间的干扰
• 采用动态损失策略，平衡各滤镜之间的梯度，防止模型偏向于更易学习的滤镜类型，提升训练稳定性
• 框架使用神经主干网络配合回归头预测滤镜参数，随后通过高效、可微分的白盒滤镜完成图像变换
• 在视频一致化中，采用指数移动平均（EMA）策略确保帧间的一致性
• 该方法避免在像素级输出上进行端到端训练，从而降低模型复杂度与计算成本

实验结果

研究问题

• RQ1 图像一致化是否可有效建模为对人类常用滤镜参数的回归，而非像素级转换任务？
• RQ2 如何通过级联方式更准确地预测相互依赖的滤镜参数（例如亮度与对比度）？
• RQ3 动态损失策略是否能提升训练稳定性并防止对特定滤镜类型的偏差？
• RQ4 该方法在高分辨率与实时视频一致化场景下的表现如何？
• RQ5 白盒、基于滤镜的方法是否能优于黑盒自编码器，在视觉质量与一致性方面表现更优？

主要发现

• 在 256×256 分辨率下，Harmonizer 在 iHarmony4 数据集上实现了 24.26 的新 SOTA MSE，显著优于先前方法
• 在 1080P 分辨率下，Harmonizer 在 RTX3090 GPU 上实现 56 fps 的推理速度，远超先前基于自编码器的方法（约 10 fps）
• 消融实验表明，级联回归器与动态损失策略均至关重要，相比基线模型，PSNR 提升 0.89 dB，MSE 降低 2.59
• 用户研究显示，Harmonizer 在视频一致化中取得最高的 B-T 得分（2.042），显著优于先前方法，甚至超过合成输入结果
• 使用 8 个滤镜时，Harmonizer 在 1080P 分辨率下实现 38.06 的 PSNR 与 51.9 fps 的推理速度，展现出性能与速度之间的优异权衡
• 视觉结果表明，与基于自编码器的方法相比，Harmonizer 更好地保留了图像细节，且避免了纹理失真