[论文解读] LAB-Net: LAB Color-Space Oriented Lightweight Network for Shadow Removal

Hong Yang, Gongrui Nan+5 more|arXiv (Cornell University)|Aug 27, 2022

Image Enhancement Techniques被引用 5

一句话总结

该论文提出LAB-Net，一种轻量级深度学习网络，通过在LAB颜色空间中处理阴影去除，采用双分支架构分别处理亮度（L）和颜色（AB）通道。通过集成空洞卷积与自适应通道分配，引入增强型通道注意力（ECA）模块，并结合利用非阴影区域先验的局部空间注意力（LSA）模块，LAB-Net在显著减少参数量和浮点运算次数（FLOPs）的同时，实现了最先进（SOTA）的性能表现。

ABSTRACT

This paper focuses on the limitations of current over-parameterized shadow removal models. We present a novel lightweight deep neural network that processes shadow images in the LAB color space. The proposed network termed "LAB-Net", is motivated by the following three observations: First, the LAB color space can well separate the luminance information and color properties. Second, sequentially-stacked convolutional layers fail to take full use of features from different receptive fields. Third, non-shadow regions are important prior knowledge to diminish the drastic color difference between shadow and non-shadow regions. Consequently, we design our LAB-Net by involving a two-branch structure: L and AB branches. Thus the shadow-related luminance information can well be processed in the L branch, while the color property is well retained in the AB branch. In addition, each branch is composed of several Basic Blocks, local spatial attention modules (LSA), and convolutional filters. Each Basic Block consists of multiple parallelized dilated convolutions of divergent dilation rates to receive different receptive fields that are operated with distinct network widths to save model parameters and computational costs. Then, an enhanced channel attention module (ECA) is constructed to aggregate features from different receptive fields for better shadow removal. Finally, the LSA modules are further developed to fully use the prior information in non-shadow regions to cleanse the shadow regions. We perform extensive experiments on the both ISTD and SRD datasets. Experimental results show that our LAB-Net well outperforms state-of-the-art methods. Also, our model's parameters and computational costs are reduced by several orders of magnitude. Our code is available at https://github.com/ngrxmu/LAB-Net.

研究动机与目标

• 解决现有基于RGB的过参数化阴影去除模型在有效分离亮度与颜色信息方面的局限性。
• 通过并行使用不同空洞率的空洞卷积实现多尺度上下文建模，克服序列卷积网络中感受野单一的问题。
• 利用非阴影区域先验知识，减少阴影区域与非阴影区域之间的颜色不一致性，提升图像视觉保真度。
• 设计一种轻量级网络架构，在大幅降低模型参数量与FLOPs的同时，保持高性能，优于现有方法。

提出的方法

• 采用双分支网络结构：一个分支处理亮度（L）通道，另一个分支并行处理色度（A, B）通道，以实现亮度与颜色学习的解耦。
• 设计基础模块，通过多个并行空洞卷积（不同空洞率）与自适应通道分配（空洞率递增时分别为16-32-48）高效扩展感受野。
• 提出增强型通道注意力（ECA）模块，利用拉普拉斯滤波器聚合来自不同感受野的特征，保留空间细节并提升特征表征能力。
• 提出局部空间注意力（LSA）模块，利用阴影边界附近的局部非阴影区域作为先验知识，引导阴影区域的精细化处理，减少颜色不一致。
• 在LSA模块中引入下采样（下采样至256×256）以降低计算成本，同时保持性能，实现对资源受限平台的灵活部署。
• 在ISTD和SRD数据集上使用RMSE、S、NS和ALL指标进行训练与评估，以验证模型性能与效率。

实验结果

研究问题

• RQ1 在LAB颜色空间中处理阴影图像是否能通过更有效地分离亮度与颜色信息，从而提升阴影去除性能，相比基于RGB的方法？
• RQ2 使用具有自适应通道分配的并行空洞卷积（不同空洞率）是否能在降低计算成本的同时增强多尺度上下文建模能力？
• RQ3 局部非阴影区域先验在多大程度上可通过减少去阴影图像中的颜色不一致性来提升视觉质量？
• RQ4 一种参数量与FLOPs显著减少的轻量级架构，是否仍能在阴影去除任务中实现最先进性能？

主要发现

• 在ISTD数据集上，LAB-Net的RMSE（6.65）与NS（4.49）均低于所有对比方法，优于基于RGB的方法与联合优化LAB的模型。
• 所提出的空洞卷积通道分配策略（16-32-48）在减少参数量与FLOPs的同时，性能优于均匀分配（32-32-32）与反向分配（48-32-16）。
• 在ECA模块中使用拉普拉斯滤波器相比Sobel（RMSE: 6.74, NS: 4.94）与GAP（RMSE: 7.19, NS: 5.13）取得更优结果（RMSE: 6.74, NS: 4.74），表明其在保留空间细节方面更具优势。
• 结合局部非阴影区域选择与256×256下采样的LSA模块，在性能与效率之间实现最佳平衡，使RMSE降至6.65，NS降至4.49。
• 消融实验证实，双分支LAB结构（RMSE: 7.39）显著优于联合优化（LAB_together: 8.11）与基于RGB的训练（8.34），验证了通道分离的有效性。
• 与先前SOTA方法相比，LAB-Net将模型参数量与FLOPs降低数个数量级，实现了在边缘设备上的高效部署。