[論文レビュー] Deep Convolutional Neural Network for Multi-modal Image Restoration and Fusion

Xin Deng, Pier Luigi Dragotti|arXiv (Cornell University)|Oct 9, 2019

Advanced Image Fusion Techniques参考文献 69被引用数 13

ひとこと要約

本稿では、新しいマルチモーダル畳み込みスパースコーディング（MCSC）モデルに基づいて導出された深層畳み込みニューラルネットワークであるCU-Netを提案する。このCU-Netは、マルチモーダル画像修復（MIR）と統合（MIF）を同時に効果的に行う。学習可能な畳み込みスパースコーディングブロックを用いて、モダリティ間で共通および固有の特徴を明示的に分離することで、幅広いタスク（例：RGBガイド付き深度スーパーレゾリューションやフラッシュベースのノイズ除去）において、高速な推論と小さなモデルサイズを実現しながら、最先端の性能を達成している。

ABSTRACT

In this paper, we propose a novel deep convolutional neural network to solve the general multi-modal image restoration (MIR) and multi-modal image fusion (MIF) problems. Different from other methods based on deep learning, our network architecture is designed by drawing inspirations from a new proposed multi-modal convolutional sparse coding (MCSC) model. The key feature of the proposed network is that it can automatically split the common information shared among different modalities, from the unique information that belongs to each single modality, and is therefore denoted with CU-Net, i.e., Common and Unique information splitting network. Specifically, the CU-Net is composed of three modules, i.e., the unique feature extraction module (UFEM), common feature preservation module (CFPM), and image reconstruction module (IRM). The architecture of each module is derived from the corresponding part in the MCSC model, which consists of several learned convolutional sparse coding (LCSC) blocks. Extensive numerical results verify the effectiveness of our method on a variety of MIR and MIF tasks, including RGB guided depth image super-resolution, flash guided non-flash image denoising, multi-focus and multi-exposure image fusion.

研究の動機と目的

• 既存の深層学習手法が解釈可能性に欠け、モダリティ間の依存関係を明示的にモデル化できないという限界を是正する。
• 従来のスパースコーディングの非効率さとピクセル単位のモデリングを克服し、画像レベルでのマルチモーダル畳み込みスパースコーディング（MCSC）モデルを構築する。
• マルチモーダル画像修復（MIR）とマルチモーダル画像統合（MIF）の両タスクを1つの解釈可能なアーキテクチャで統合的に解決できる包括的な深層学習フレームワークを設計する。
• MIRおよびMIFタスクにおける性能と一般化性能の向上を図るため、自動的に共通特徴（複数のモダリティに共有される）と固有特徴（モダリティ固有の）を分離可能にする。

提案手法

• 各モダリティを共通特徴用と固有特徴用の2つの畳み込み辞書を用いて表現する新しいマルチモーダル畳み込みスパースコーディング（MCSC）モデルを提案。これにより、画像レベルでのモダリティ間依存関係を統合的にモデリング可能となる。
• MCSCモデルに基づいてCU-Netアーキテクチャを設計。3つのモジュール（特徴抽出モジュール（UFEM）、共通特徴保持モジュール（CFPM）、画像再構成モジュール（IRM））から構成され、それぞれMCSCモデルの対応する構成要素に基づいている。
• 各モジュールをスタックされた学習可能な畳み込みスパースコーディング（LCSC）ブロックで実装。フィルタ（EおよびF）はバックプロパゲーションによりエンドツーエンドで学習可能であり、微分可能かつ特徴抽出とスパースコーディングを同時に実現。
• スキップ接続を備えた二ストリームエンコーダ-デコーダ構造を採用。空間的詳細の保持と、モダリティ固有および共有表現の有効な統合を実現。
• 再構成タスクにはL2損失、画像品質評価には知覚的損失を用い、Adamによる適応的最適化によりエンドツーエンドでネットワークを訓練。
• 各LCSCブロックに残差学習戦略を統合。トレーニングの安定化と収束性の向上を図り、特徴空間におけるソフトスレッショルド処理によりスパース性を実現。

実験結果

リサーチクエスチョン

• RQ1 構造的マルチモーダルスパースコーディングモデルに基づく深層ニューラルネットワークアーキテクチャは、純粋にデータ駆動のアプローチと比較して、マルチモーダル画像修復および統合において、より優れた性能と解釈可能性を達成できるか？
• RQ2 モダリティ間で共通および固有の特徴を明示的に分離することで、多様なMIRおよびMIFタスクにおける性能向上はどの程度達成できるか？
• RQ3 複数のベンチマークタスクにおいて、提案手法のMCSCベースのネットワークアーキテクチャは、既存の最先端手法と比較して、正確性、速度、モデルサイズの観点でどの程度優れているか？
• RQ4 各モジュール（UFEM、CFPM、IRM）およびハイパーパramータ（例：フィルターサイズ、ネットワーク深さ）がCU-Netフレームワーク全体の性能に果たす寄与度はいかほどか？

主な発見

• CU-Netは、RGBガイド付き深度スーパーレゾリューションやフラッシュベース非フラッシュ画像ノイズ除去、マルチフォーカス／マルチ露出統合など、6つの多様なマルチモーダル画像処理タスクで最先端の性能を達成している。
• RGBガイド付き深度画像スーパーレゾリューションでは、モデルサイズがわずか231 KBであるにもかかわらず、PSNR 45.12 dB、SSIM 0.9940を達成。他の手法を上回り、推論が高速である。
• 高速な推論速度を示しており、GTX 1080 Ti GPU上で1320×1080の画像を0.85秒で処理。全タスクで1秒未満の推論時間が確保されている。
• アブレーションスタディにより、共通および固有特徴の分離機構とLCSCベースのモジュールが性能向上に不可欠であることが確認。フィルターサイズおよび深さのアブレーションでも一貫した向上が観察された。
• ネットワークは異なるモダリティおよびタスクにわたって良好な一般化性能を示し、ネットワーク深さの増加に伴いRMSE（2.07から1.81に）、PSNR（43.88 dBから45.12 dBに）一貫した改善が見られた。
• MCSCモデルに根ざしたアーキテクチャの解釈可能性により、純粋に経験的CNN設計とは異なり、特徴学習のダイナミクスをより明確に理解できるようになった。