[论文解读] Efficient Deep Demosaicing with Spatially Downsampled Isotropic Networks

Cory Fan, Wenchao Zhang|arXiv (Cornell University)|Jan 2, 2026

Image and Signal Denoising Methods被引用 0

一句话总结

论文表明空间下采样可以同时提升各向同性网络在联合去马赛克与降噪（JDD）及多种去马赛 Mosaic 任务的效率与精度，提出JD3Net，在显著降低 FLOPs 的同时实现具有竞争力的 PSNR 增益。

ABSTRACT

In digital imaging, image demosaicing is a crucial first step which recovers the RGB information from a color filter array (CFA). Oftentimes, deep learning is utilized to perform image demosaicing. Given that most modern digital imaging applications occur on mobile platforms, applying deep learning to demosaicing requires lightweight and efficient networks. Isotropic networks, also known as residual-in-residual networks, have been often employed for image demosaicing and joint-demosaicing-and-denoising (JDD). Most demosaicing isotropic networks avoid spatial downsampling entirely, and thus are often prohibitively expensive computationally for mobile applications. Contrary to previous isotropic network designs, this paper claims that spatial downsampling to a signficant degree can improve the efficiency and performance of isotropic networks. To validate this claim, we design simple fully convolutional networks with and without downsampling using a mathematical architecture design technique adapted from DeepMAD, and find that downsampling improves empirical performance. Additionally, empirical testing of the downsampled variant, JD3Net, of our fully convolutional networks reveals strong empirical performance on a variety of image demosaicing and JDD tasks.

研究动机与目标

• 推动在移动设备上提高去马赛 Mosaic 的各向同性网络效率。
• 研究空间下采样是否能够提升在各向同性架构中的性能并降低 FLOPs。
• 提出一个使用改良熵基架构搜索的 principled 网络设计方法。
• 展示 JD3Net 在 Bayer、非 Bayer 与 HybridEVS 去马赛 Mosaic 任务中的有效性。

提出的方法

• 将 JD3Net 设计为一个简单的全卷积各向同性网络，支持可选下采样。
• 使用改良的 DeepMAD 熵分数来引导网络宽度、深度与下采样比的架构选择。
• 用简化版的 NAFBlock 取代标准 NAFBlock，通过去除注意力以降低复杂度。
• 在 FLOPs 与结构约束下，通过最大化熵的数学规划形式进行约束与优化。
• 在 HDD ISO3200、Kodak、McMaster、BSD100、Urban100 与 Quad-Bayer HybridEVS 基准上比较下采样与非下采样变体的性能。

Figure 2 : CFAs investigated in this paper. Networks often have to deal with challenging CFAs with missing information (HybridEVS CFA, for instance) or multiple CFA simultaneously.

实验结果

研究问题

• RQ1 空间下采样是否能提升去马赛 Mosaic 与 JDD 的效率与性能？
• RQ2 在不同 CFA 模式下，哪种下采样比率与网络宽度/深度能在 PSNR/SSIM 与 FLOPs 之间取得最佳权衡？
• RQ3 一个简单的全卷积、带下采样的各向同性网络是否能实现 Bayer、非 Bayer 与 HybridEVS 去马赛 Mosaic 的最先进效率？
• RQ4 与现有方法在合成与真实图像 JDD 任务中，JD3Net 在 PSNR/SSIM 与计算成本方面的对比如何？

主要发现

• 在所提出的设计约束下，下采样最常提高熵，从而在许多实际的各向同性网络上实现更高的每 FLOP 性能。
• JD3Net 及其下采样变体 JD3Net-S 在 HDD ISO3200 上优于非下采样实现，JD3Net-S 展示了显著的 PSNR 增益（平均提升 0.29）并大幅降低 FLOPs。
• JD3Net 在 Bayer、非 Bayer 与 Quad-Bayer HybridEVS 去马赛 Mosaic 上实现具有竞争力或更优的 PSNR/SSIM，同时比若干基线模型（如 Quad-Bayer 任务中的 DemosaicFormer）显著降低 FLOPs（约 3.8x ）。
• 与 ESUM 相比，JD3Net 在统一 JDD 基准上获得近等或更好的 PSNR，同时速度显著更快。
• 消融研究表明简单的通道注意力对小模型（JD3Net-S）有帮助，但在较大的各向同性网络中可能导致过拟合。
• JD3Net 仍然是一个简单的全卷积架构，在 JDD 与去马赛 Mosaic 任务中在效率方面优于许多更复杂的模型。

Figure 3 : Simplified-NAFBlock and JD3Net Architecture. (A) NAFBlock. SCA stands for Simple Channel Attention. Dconv stands for depthwise convolution. (B) Simplified-NAFBlock, which is the same as NAFBlock except for removal of SCA. (C) Our fully-convolutional JD3Net architecture. JD3Net is fully-co