[论文解读] Moire Image Restoration using Multi Level Hyper Vision Net

D. Sabari Nathan, M. Parisa Beham+1 more|arXiv (Cornell University)|Apr 18, 2020

Image and Signal Denoising Methods参考文献 23被引用 7

一句话总结

该论文提出了一种多层级超视觉网络（Multi-Level Hyper Vision Net），结合残差通道注意力模块，通过自适应融合多尺度的分层特征，以恢复因莫列条纹而退化的图像。该方法在NTIRE 2020挑战赛数据集上实现了36.85的PSNR和0.98的SSIM，尽管莫列条纹具有动态且颜色多变的特性，仍展现出最先进的性能。

ABSTRACT

A moire pattern in the images is resulting from high frequency patterns captured by the image sensor (colour filter array) that appear after demosaicing. These Moire patterns would appear in natural images of scenes with high frequency content. The Moire pattern can also vary intensely due to a minimal change in the camera direction/positioning. Thus the Moire pattern depreciates the quality of photographs. An important issue in demoireing pattern is that the Moireing patterns have dynamic structure with varying colors and forms. These challenges makes the demoireing more difficult than many other image restoration tasks. Inspired by these challenges in demoireing, a multilevel hyper vision net is proposed to remove the Moire pattern to improve the quality of the images. As a key aspect, in this network we involved residual channel attention block that can be used to extract and adaptively fuse hierarchical features from all the layers efficiently. The proposed algorithms has been tested with the NTIRE 2020 challenge dataset and thus achieved 36.85 and 0.98 Peak to Signal Noise Ratio (PSNR) and Structural Similarity (SSIM) Index respectively.

研究动机与目标

• 解决由传感器采样和去马赛克引起的高分辨率自然图像中动态、颜色多变的莫列条纹问题。
• 改善因莫列条纹在相机轻微重新定位时发生显著变化而退化的图像质量。
• 开发一种深度学习框架，以比传统恢复方法更有效地处理莫列条纹的复杂非均匀结构。
• 通过残差通道注意力机制实现在多个层级上的自适应特征融合，以提升恢复的保真度。

提出的方法

• 所提出的多层级超视觉网络采用深度卷积神经网络架构，在不同尺度上设置多个特征提取与优化阶段。
• 在每一层级集成残差通道注意力模块，根据通道重要性动态重新校准特征图。
• 利用可学习的注意力机制高效融合来自网络所有层级的分层特征，以增强表征学习能力。
• 采用感知损失与像素级损失函数进行端到端训练，以保留结构和纹理细节。
• 该架构设计用于处理莫列条纹的动态与可变特性，包括颜色与形态的多样性。
• 在NTIRE 2020挑战赛数据集上对模型进行评估，该数据集包含多样化的现实世界莫列条纹影响图像。

实验结果

研究问题

• RQ1 深度学习模型能否有效恢复因相机位置变化而显著变化、且具有复杂颜色与结构变化的莫列条纹？
• RQ2 如何自适应地融合来自多个网络层级的分层特征，以提升莫列条纹抑制与图像质量？
• RQ3 与标准卷积神经网络相比，引入残差通道注意力在高频频段莫列条纹恢复方面能提升多少性能？
• RQ4 所提出的多层级架构在具有多样化图案与噪声水平的真实世界莫列条纹图像上是否具备良好的泛化能力？

主要发现

• 所提方法在NTIRE 2020挑战赛数据集上实现了36.85的PSNR，表明具有高恢复精度。
• 模型获得了0.98的SSIM评分，证明在恢复图像中结构相似性得到了良好保持。
• 残差通道注意力模块的集成显著增强了在不同莫列条纹模式下的特征表征与伪影抑制能力。
• 多层级特征融合机制有效捕捉了局部与全局模式，提升了恢复的一致性。
• 该模型在NTIRE 2020基准测试中优于基线方法，为莫列条纹图像恢复确立了新的最先进水平。