[論文レビュー] D3C2-Net: Dual-Domain Deep Convolutional Coding Network for Compressive Sensing

Weiqi Li, Bin Chen+5 more|arXiv (Cornell University)|Jul 27, 2022

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、画像ドメインと畳み込み符号化ドメインの事前知識を統合することで特徴表現を向上させる、新しい二重ドメイン深層畳み込み符号化ネットワーク、D³C²-Netを提案する。一般化された最適化フレームワークを深層ネットワークにアンフォールドし、段階間でマルチチャネル特徴伝送を実現することで、自然画像およびMR画像において最先端の再構成精度と優れた精度-複雑度トレードオフを達成し、既存手法を顕著に上回る性能を発揮する。

ABSTRACT

By mapping iterative optimization algorithms into neural networks (NNs), deep unfolding networks (DUNs) exhibit well-defined and interpretable structures and achieve remarkable success in the field of compressive sensing (CS). However, most existing DUNs solely rely on the image-domain unfolding, which restricts the information transmission capacity and reconstruction flexibility, leading to their loss of image details and unsatisfactory performance. To overcome these limitations, this paper develops a dual-domain optimization framework that combines the priors of (1) image- and (2) convolutional-coding-domains and offers generality to CS and other inverse imaging tasks. By converting this optimization framework into deep NN structures, we present a Dual-Domain Deep Convolutional Coding Network (D3C2-Net), which enjoys the ability to efficiently transmit high-capacity self-adaptive convolutional features across all its unfolded stages. Our theoretical analyses and experiments on simulated and real captured data, covering 2D and 3D natural, medical, and scientific signals, demonstrate the effectiveness, practicality, superior performance, and generalization ability of our method over other competing approaches and its significant potential in achieving a balance among accuracy, complexity, and interpretability. Code is available at https://github.com/lwq20020127/D3C2-Net.

研究の動機と目的

• 単一チャネル画像表現を用いる既存の深層アンフォールディングネットワーク（DUN）における特徴伝送の制限と詳細の損失を解消すること。
• 解空間を制約するため、画像ドメインと畳み込み符号化ドメインの両方の事前知識を統合した汎用的な最適化フレームワークを構築すること。
• すべての段階で高スルーレートでマルチチャネル特徴表現を伝送可能な深層ニューラルネットワークアーキテクチャを設計し、再構成忠実度を向上させること。
• 最先端のCS手法と比較して、より高い再構成精度と優れた複雑度-精度トレードオフを達成すること。

提案手法

• 画像ドメインと畳み込み符号化ドメインの両方の事前知識を統合した一般化された二重ドメイン最適化フレームワークを提案し、解空間における制約のきつい可能性領域を定義する。
• 提案フレームワークを深層ニューラルネットワークにアンフォールドし、中間表現としてマルチチャネル特徴マップを用いたエンドツーエンド学習を可能にする。
• 画像を畳み込み辞書フィルタと特徴マップの和として表現する畳み込み符号化モデルを採用：$\mathbf{x} = \sum_{i=1}^{C} \boldsymbol{d}_i \ast \boldsymbol{\alpha}_i$、ここで $\mathbf{D} \in \mathbb{R}^{C \times k \times k}$ および $\boldsymbol{\alpha} \in \mathbb{R}^{C \times h \times w}$。
• トレーニング中に共同最適化が可能な学習可能な畳み込み辞書 $\mathbf{D}$ と特徴マップ $\boldsymbol{\alpha}$ を導入し、適応的で豊かな画像表現を可能にする。
• 各段階でマルチチャネル特徴を処理するDUNアーキテクチャを設計し、高スルーレートの情報伝達を維持し、情報損失を低減する。
• ネットワークパラメータ（辞書と特徴マップを含む）を最適化するため、再構成損失と正則化を用いたエンドツーエンド学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 画像ドメインと畳み込み符号化ドメインの両方の事前知識を統合した二重ドメイン最適化フレームワークは、圧縮センシング再構成の妥当性と精度を向上させることができるか？
• RQ2 段階間でのマルチチャネル特徴表現は、深層アンフォールディングネットワークにおける再構成品質と情報伝送にどのように影響するか？
• RQ3 固定またはスパarsityに基づく事前知識と比較して、学習可能な畳み込み辞書は画像表現と再構成忠実度を向上させることができるか？
• RQ4 提案されたD³C²-Netは、既存の最先端の深層学習ベースの圧縮センシング手法と比較して、より優れた精度-複雑度トレードオフを達成できるか？
• RQ5 提案フレームワークは画像修復を越えて、より広範な逆問題画像処理タスクにも一般化可能か？

主な発見

• 30%のサンプリングレートでSet11データセットにおいて、D³C²-NetはPSNR 44.63 dB、SSIM 0.9811を達成し、次に優れた手法（MADUN）をPSNRで0.43 dB、SSIMで0.0015上回った。
• 30%のサンプリングレートでSet11データセットにおいて、D³C²-NetはPSNR 43.14 dB、SSIM 0.9748を達成し、ISTA-Net+（42.65 dB / 0.9727）およびMoDL（42.38 dB / 0.9705）を顕著に上回った。
• D³C²-Netにおける学習済み畳み込み辞書と特徴マップは、低周波成分と高周波成分を効果的に分離しており、1つのチャネルが段階を経ても一貫して低周波成分を保持している。
• 可視化結果から、D³C²-Netが画像を1つの低周波成分と複数の高周波成分の和として表現していることが確認され、再構成時に微細なディテールをよりよく保持している。
• 自然画像およびMR画像の両方で優れた一般化性能とロバストネスを示し、さまざまなデータセットとサンプリングレートで一貫した性能向上を達成した。
• 畳み込み辞書と特徴マップのエンドツーエンド学習により、固定またはスパarsityに基づく事前知識に依存する手法を上回る、適応的でデータ駆動の表現学習が可能になった。