[论文解读] Full RGB Just Noticeable Difference (JND) Modelling

Jian Jin, Dong Yu+4 more|arXiv (Cornell University)|Mar 1, 2022

Color Science and Applications被引用 4

一句话总结

本文提出RGB-JND-NET，一种基于深度学习的生成模型，用于全彩RGB可察觉差异（JND）建模，该模型联合考虑了亮度与色度通道、视觉注意机制以及自适应图像质量评估。通过学习全彩空间中的感知冗余，该模型实现了最先进性能，实验结果表明其在红色和蓝色通道中具有更高的JND容限，与人类视觉系统对颜色的敏感度一致。

ABSTRACT

Just Noticeable Difference (JND) has many applications in multimedia signal processing, especially for visual data processing up to date. It's generally defined as the minimum visual content changes that the human can perspective, which has been studied for decades. However, most of the existing methods only focus on the luminance component of JND modelling and simply regard chrominance components as scaled versions of luminance. In this paper, we propose a JND model to generate the JND by taking the characteristics of full RGB channels into account, termed as the RGB-JND. To this end, an RGB-JND-NET is proposed, where the visual content in full RGB channels is used to extract features for JND generation. To supervise the JND generation, an adaptive image quality assessment combination (AIC) is developed. Besides, the RDB-JND-NET also takes the visual attention into account by automatically mining the underlying relationship between visual attention and the JND, which is further used to constrain the JND spatial distribution. To the best of our knowledge, this is the first work on careful investigation of JND modelling for full-color space. Experimental results demonstrate that the RGB-JND-NET model outperforms the relevant state-of-the-art JND models. Besides, the JND of the red and blue channels are larger than that of the green one according to the experimental results of the proposed model, which demonstrates that more changes can be tolerated in the red and blue channels, in line with the well-known fact that the human visual system is more sensitive to the green channel in comparison with the red and blue ones.

研究动机与目标

• 为解决现有JND模型将色度视为亮度缩放版本所带来的局限性，本研究探索全彩空间中的JND建模。
• 开发一种基于学习的生成网络，以准确建模三个RGB通道中的感知冗余。
• 通过将视觉注意作为空间约束而非简单加权，提升JND生成的空间准确性。
• 通过引入自适应图像质量评估组合（AIC），动态选择最优质量评估指标，克服固定IQA指标在训练中的局限性。
• 通过主观与客观评估验证模型的感知准确性，证明其在全RGB空间中实现了更优的JND估计性能。

提出的方法

• 提出RGB-JND-NET，一种深度神经网络，接收全RGB输入以提取多尺度特征，用于JND预测。
• 提出一种自适应图像质量评估组合（AIC），可从多个IQA指标（如SSIM、LPIPS等）中动态选择，用于监督JND生成，避免感知退化。
• 将视觉注意图作为空间约束，使网络学习注意与JND分布之间的隐含关系，从而提升空间分布的准确性。
• 对全RGB通道施加基于梯度的幅值约束，确保生成的JND在感知上不可察觉。
• 采用类似自编码器的架构并引入跳跃连接，以保留空间细节并提升重建保真度。
• 通过结合感知损失与基于AIC的失真监督，端到端训练模型，以维持视觉质量。

实验结果

研究问题

• RQ1 若不再将色度视为亮度的缩放版本，而是考虑全RGB色彩通道，JND建模性能将如何提升？
• RQ2 视觉注意对JND的空间分布有何影响？如何有效将其整合到JND生成过程中？
• RQ3 自适应IQA组合（AIC）是否能优于固定IQA指标，在监督生成式JND模型时表现更优？
• RQ4 该模型在不同图像内容类型中，其RGB通道的JND分布表现如何？
• RQ5 该模型在多大程度上反映了已知的人类视觉系统（HVS）敏感特性，例如对绿色的敏感度高于红色与蓝色？

主要发现

• 所提出的RGB-JND-NET模型在主观与客观评估中均优于现有最先进JND模型。
• 模型在红色与蓝色通道中生成的JND值高于绿色通道，证实了人类视觉系统对绿色更高的敏感度。
• AIC技术在训练过程中成功识别并抑制了感知上有害的失真，从而提升了JND输出质量。
• 将视觉注意作为学习特征整合后，显著提升了JND分布的空间一致性，尤其在显著区域表现更优。
• 模型能根据图像内容自适应调整JND分布，展现出不同视觉复杂度图像中的差异化分布模式。
• 生成JND中的主导失真类型为类似JPEG/JPEG2000的压缩失真，表明模型学习到了感知上合理的失真特征。