[论文解读] M2-Net: Multi-stages Specular Highlight Detection and Removal in Multi-scenes

Zhaoyangfan Huang, Kun Hu+1 more|arXiv (Cornell University)|Jul 20, 2022

Image Enhancement Techniques被引用 9

一句话总结

本文提出 M²-Net，一种多阶段、多场景的高光检测与去除框架，通过在两个阶段——粗略阶段与精炼阶段——分别使用高光特征提取器（HFE）和上下文高光注意力（CHA）机制，在合成图像、人脸图像、文本图像及自然图像中均实现了最先进性能。该方法在视觉质量与定量表现上均表现出色，首次实现了基于深度学习的高光去除在视频序列中的应用。

ABSTRACT

In this paper, we propose a novel uniformity framework for highlight detection and removal in multi-scenes, including synthetic images, face images, natural images, and text images. The framework consists of three main components, highlight feature extractor module, highlight coarse removal module, and highlight refine removal module. Firstly, the highlight feature extractor module can directly separate the highlight feature and non-highlight feature from the original highlight image. Then highlight removal image is obtained using a coarse highlight removal network. To further improve the highlight removal effect, the refined highlight removal image is finally obtained using refine highlight removal module based on contextual highlight attention mechanisms. Extensive experimental results in multiple scenes indicate that the proposed framework can obtain excellent visual effects of highlight removal and achieve state-of-the-art results in several quantitative evaluation metrics. Our algorithm is applied for the first time in video highlight removal with promising results.

研究动机与目标

• 解决现有高光去除方法局限于特定场景且为单阶段的局限性。
• 开发一种统一框架，能够处理包括合成图像、人脸图像、文本图像及自然图像在内的多样化场景中的高光。
• 通过结合上下文注意力机制的两阶段优化流程，提升高光去除质量。
• 首次实现基于深度学习的高光去除在视频数据集中的应用。

提出的方法

• 高光特征提取器（HFE）模块利用多尺度特征，基于亮度变化检测高光区域。
• 粗略高光去除模块采用门控卷积与空洞卷积，从输入图像中去除显著高光。
• 精炼高光去除模块应用上下文高光注意力（CHA）机制，融合高光与背景特征，以提升纹理一致性。
• CHA 机制结合全局注意力（BA）与局部注意力（HA），以在修复区域中保持结构与色彩保真度。
• 网络通过感知损失与重建损失进行端到端训练，以同时优化视觉质量与结构相似性。
• 通过独立处理每一帧，将该方法应用于视频，展示了在时间一致性方面的鲁棒性。

实验结果

研究问题

• RQ1 单一深度学习框架是否能在多种多样化场景中实现最先进水平的高光去除？
• RQ2 相较于单阶段方法，多阶段（粗略 + 精炼）架构在多大程度上提升了高光去除质量？
• RQ3 上下文高光注意力（CHA）机制在多大程度上增强了去除区域的纹理与色彩一致性？
• RQ4 所提方法是否能泛化至视频高光去除任务，其中时间一致性至关重要？
• RQ5 该方法在处理饱和或极大规模高光区域时存在哪些局限性？

主要发现

• 在 SHIQ 数据集上，M²-Net 实现了 35.72 的 PSNR 与 0.91 的 SSIM，优于第二名方法 1.94 的 PSNR 与 0.02 的 SSIM。
• 在 SD1 数据集上，该方法实现了 33.44 的 PSNR 与 0.92 的 SSIM，显著优于基线方法与 DenseUnet。
• 消融实验表明，HFE 模块与 CHA 机制均至关重要，其中 HFE 在 SHIQ 数据集上使 PSNR 相比基线提升 4.64。
• 同时包含 BA 与 HA 组件的 CHA 模块表现最佳，有效减少色彩失真并提升大区域填充的一致性。
• 该方法成功在 1920×1080 分辨率的视频序列中去除高光，伪影极少，且帧间外观保持一致。
• 局限性包括在饱和高光与大范围区域上表现较差，模型难以恢复纹理，且产生不自然的补丁。