[論文レビュー] Efficient Deep Demosaicing with Spatially Downsampled Isotropic Networks

Cory Fan, Wenchao Zhang|arXiv (Cornell University)|Jan 2, 2026

Image and Signal Denoising Methods被引用数 0

ひとこと要約

論文は空間的ダウンサンプリングが同次分解能ネットワークの効率と精度の両方を改善し得ることを示し、JDD（ joint demosaicing and denoising）およびさまざまなデモザイシングタスクにおいて JD3Net を導入。FLOPs の大幅削減と PSNR の競争力ある向上を実現。

ABSTRACT

In digital imaging, image demosaicing is a crucial first step which recovers the RGB information from a color filter array (CFA). Oftentimes, deep learning is utilized to perform image demosaicing. Given that most modern digital imaging applications occur on mobile platforms, applying deep learning to demosaicing requires lightweight and efficient networks. Isotropic networks, also known as residual-in-residual networks, have been often employed for image demosaicing and joint-demosaicing-and-denoising (JDD). Most demosaicing isotropic networks avoid spatial downsampling entirely, and thus are often prohibitively expensive computationally for mobile applications. Contrary to previous isotropic network designs, this paper claims that spatial downsampling to a signficant degree can improve the efficiency and performance of isotropic networks. To validate this claim, we design simple fully convolutional networks with and without downsampling using a mathematical architecture design technique adapted from DeepMAD, and find that downsampling improves empirical performance. Additionally, empirical testing of the downsampled variant, JD3Net, of our fully convolutional networks reveals strong empirical performance on a variety of image demosaicing and JDD tasks.

研究の動機と目的

• モバイル機器上でのデモザイシングのための等方性ネットワークの効率向上を動機づける。
• 等方性アーキテクチャにおいて空間的ダウンサンプリングが性能と FLOPs を改善できるかを調査する。
• エントロピーに基づくアーキテクチャ探索を改良した principled なネットワーク設計手法を開発する。
• Bayer、非 Bayer、HybridEVS デモザイシングタスク全般における JD3Net の有効性を示す。

提案手法

• JD3Net をダウンサンプリングを任意に取り入れた単純な全畳み込みの等方性ネットワークとして設計する。
• 幅・深さ・ダウンサンプリング比のアーキテクチャ選択を導くために改良版 DeepMAD エントロピー・スコアを用いる。
• 注意機構を除去して複雑さを低く保つために標準の NAFBlocks を Simplified-NAFBlocks に置換する。
• FLOPs と構造的制約の下でエントロピーを最大化する数理計画法を用いて制約・最適化を行う。
• HDD ISO3200、Kodak、McMaster、BSD100、Urban100、Quad-Bayer HybridEVS ベンチマークでダウンサンプリング版と非ダウンサンプリング版を評価する。

Figure 2 : CFAs investigated in this paper. Networks often have to deal with challenging CFAs with missing information (HybridEVS CFA, for instance) or multiple CFA simultaneously.

実験結果

リサーチクエスチョン

• RQ1 空間的ダウンサンプリングはデモザイシングと JDD の等方性ネットワークの効率と性能を改善するか？
• RQ2 PSNR/SSIM と FLOPs のトレードオフにおいて、さまざまな CFA パターンで最良の組み合わせとなるダウンサンプリング比とネットワーク幅・深さは何か？
• RQ3 単純な全畳み込みのダウンサンプリングされた等方性ネットワークは Bayer、非 Bayer、HybridEVS デモザイシングで最先端の効率を達成できるか？
• RQ4 JD3Net は合成・実画像の JDD タスクにおいて、PSNR/SSIM と計算コストの点で既存手法と比較してどうか？

主な発見

• 提案設計制約の下でダウンサンプリングは多くの場合エントロピーを高め、実用的な多くの等方性ネットワークにおいて FLOP 当たりの性能を改善する。
• JD3Net およびそのダウンサンプリング版 JD3Net-S は HDD ISO3200 で非ダウンサンプリング版を上回り、JD3Net-S は平均で 0.29 の PSNR 増加と大幅な FLOPs 削減を示す。
• JD3Net は Bayer、非 Bayer、Quad-Bayer HybridEVS デモザイシング全般で競合するか優る PSNR/SSIM を達成し、いくつかのベースラインよりはるかに少ない FLOPs（例：Quad-Bayer タスクでは DemosaicFormer の約 3.8 倍少ない）を実現。
• ESUM と比較して、JD3Net は unified JDD ベンチマークでほぼ同等またはそれ以上の PSNR を達成しつつ、はるかに高速。
• アブレーションにより、単純なチャネル注意は小規模モデル（JD3Net-S）に有効だが、より大きな等方性ネットワークでは過剛性化を招く可能性が示唆された。
• JD3Net は依然として単純で全畳み込みのアーキテクチャであり、JDD およびデモザイシングタスクでより多くの複雑なモデルを上回る効率性を示す。

Figure 3 : Simplified-NAFBlock and JD3Net Architecture. (A) NAFBlock. SCA stands for Simple Channel Attention. Dconv stands for depthwise convolution. (B) Simplified-NAFBlock, which is the same as NAFBlock except for removal of SCA. (C) Our fully-convolutional JD3Net architecture. JD3Net is fully-co