[论文解读] Deep Decomposition and Bilinear Pooling Network for Blind Night-Time Image Quality Evaluation

Qiuping Jiang, Jiawu Xu+4 more|arXiv (Cornell University)|May 12, 2022

Image and Video Quality Assessment被引用 6

一句话总结

该论文提出DDB-Net，一种用于盲夜视图像质量评估（NTIQE）的深度学习框架，通过受Retinex启发的分解方法将夜视图像分解为光照层与反射层，分别从各分量中编码退化特异性特征，并利用双线性池化进行特征融合，以提升质量预测性能。该方法在基准数据集上实现了最先进性能，且计算成本极低，展现出对真实夜视退化现象的强大泛化能力。

ABSTRACT

Blind image quality assessment (BIQA), which aims to accurately predict the image quality without any pristine reference information, has been extensively concerned in the past decades. Especially, with the help of deep neural networks, great progress has been achieved. However, it remains less investigated on BIQA for night-time images (NTIs) which usually suffers from complicated authentic distortions such as reduced visibility, low contrast, additive noises, and color distortions. These diverse authentic degradations particularly challenges the design of effective deep neural network for blind NTI quality evaluation (NTIQE). In this paper, we propose a novel deep decomposition and bilinear pooling network (DDB-Net) to better address this issue. The DDB-Net contains three modules, i.e., an image decomposition module, a feature encoding module, and a bilinear pooling module. The image decomposition module is inspired by the Retinex theory and involves decoupling the input NTI into an illumination layer component responsible for illumination information and a reflection layer component responsible for content information. Then, the feature encoding module involves learning feature representations of degradations that are rooted in the two decoupled components separately. Finally, by modeling illumination-related and content-related degradations as two-factor variations, the two feature sets are bilinearly pooled together to form a unified representation for quality prediction. The superiority of the proposed DDB-Net has been well validated by extensive experiments on several benchmark datasets. The source code will be made available soon.

研究动机与目标

• 为解决真实夜视图像（NTIs）中因复杂且真实的退化现象（如可见度低、噪声、色彩偏移）导致的盲图像质量评估挑战。
• 克服现有BIQA方法在合成退化上表现良好但对真实NTI退化失效的局限性。
• 设计一种端到端的深度学习架构，有效建模NTIs中与光照相关和与内容相关的退化。
• 实现在无参考图像情况下的高效且准确的质量预测，支持图像增强算法的自动参数调优等应用。

提出的方法

• DDB-Net框架由三个模块构成：图像分解、特征编码与双线性池化。
• 图像分解模块将输入NTI分离为光照层（光照条件）与反射层（内容细节），受Retinex理论启发。
• 特征编码模块通过独立的分支网络，从光照与反射分量中学习独特的退化特征。
• 对两个编码后的特征集应用双线性池化，以建模光照与内容退化之间的交互作用，形成统一的表示用于质量预测。
• 网络通过回归损失端到端训练，从输入NTI中预测连续的质量分数。
• 该架构设计注重效率，仅含0.38百万个参数与较低的FLOPs，支持快速推理。

实验结果

研究问题

• RQ1 基于深度学习的BIQA模型能否有效处理真实夜视图像中复杂的、真实的退化现象？
• RQ2 将光照与内容分量分离，是否能提升退化特异性特征的学习效果以用于质量评估？
• RQ3 对分解后分量的特征进行双线性池化，是否能优于标准特征融合方式，实现更优的质量预测？
• RQ4 在基准数据集上，所提出的DDB-Net相较于现有BIQA与NTIQE方法，在性能与效率方面表现如何？

主要发现

• DDB-Net在NNID与NTIRE2020两个基准数据集上，均实现了盲夜视图像质量评估的最先进性能。
• 该模型与人类主观评分表现出高度一致性，验证了其预测感知上有意义质量的能力。
• DDB-Net在深度学习方法中推理速度位列第二快，单张图像仅需0.0092秒，且参数量仅为0.38百万。
• 该方法在真实夜视图像退化（尤其是低对比度、噪声与色彩失真）处理上，优于现有手工设计与深度学习BIQA方法。
• 消融实验证实，分解与双线性池化的组合显著优于基线模型。
• 该框架成功实现了LIME图像增强算法的自动参数调优，识别出优于默认值的最优参数设置。