[論文レビュー] Deep Convolutional Sparse Coding Networks for Image Fusion

Shuang Xu, Zixiang Zhao+4 more|arXiv (Cornell University)|May 18, 2020

Advanced Image Fusion Techniques参考文献 43被引用数 7

ひとこと要約

本論文は、反復的硬縮・閾値処理アルゴリズム（ISTA）を学習可能な辞書畳み込みユニット（DCU）に展開することで、赤外線可視光、露出多様、マルチモーダル画像統合の3つのタスクに特化した深層畳み込みスパースコーディング（CSC）ネットワークを提案する。本手法は、すべてのハイパーパrameter（例：ペナルティ、閾値、フィルタ）をデータから学習し、多様なデータセットにおいて定量的指標および視覚的品質の両面で最先端の性能を達成する。

ABSTRACT

Image fusion is a significant problem in many fields including digital photography, computational imaging and remote sensing, to name but a few. Recently, deep learning has emerged as an important tool for image fusion. This paper presents three deep convolutional sparse coding (CSC) networks for three kinds of image fusion tasks (i.e., infrared and visible image fusion, multi-exposure image fusion, and multi-modal image fusion). The CSC model and the iterative shrinkage and thresholding algorithm are generalized into dictionary convolution units. As a result, all hyper-parameters are learned from data. Our extensive experiments and comprehensive comparisons reveal the superiority of the proposed networks with regard to quantitative evaluation and visual inspection.

研究の動機と目的

• 従来の画像統合手法が手作業で設定されたハイパーパrameterに依存しており、一般化能力に欠けるという制限に対処すること。
• すべてのハイパーパrameter（例：正則化、閾値、フィルタ）をデータから直接学習することで、統合性能を向上させること。
• 複数の画像統合タスクに適した統一的で解釈可能かつ再現可能な深層学習フレームワークを構築すること。
• 特定の選りすぐりの画像での評価にとどまらない、既存手法の一般化能力の低さを克服すること。
• 反復的硬縮・閾値処理アルゴリズム（ISTA）を微分可能で学習可能なニューラルネットワークユニットに統合し、エンド・ツー・エンドの学習を可能とすること。

提案手法

• 畳み込みスパースコーディング（CSC）モデルおよびISTAアルゴリズムを、辞書畳み込みユニット（DCU）と呼ばれる微分可能レイヤーに一般化する。
• ISTAにおける固定ハイパーパラメータを、畳み込みフィルタ、ペナルティパラメータ、および閾値関数といった学習可能なコンponentsに置き換える。
• ISTAにおける前向きおよび転置畳み込み演算を表すために2つの畳み込み層を用い、バッチ正則化と学習可能な活性化関数を併用する。
• 使用する正則化に応じて、ソフト硬縮閾値処理（SST）または代替活性化関数（例：ReLU、PReLU）を採用する。
• 複数のDCUをスタックして、赤外線可視光、露出多様、マルチモーダル画像統合の3つのタスクに特化した深層ネットワークを構築する。
• 各タスクに特化した損失関数（例：知覚的損失、再構成損失）を用い、標準的な最適化（Adam）によりエンド・ツー・エンドでネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みスパースコーディングのための反復的硬縮・閾値処理アルゴリズム（ISTA）を、学習可能なニューラルネットワークレイヤーに効果的に展開できるか？
• RQ2 すべてのハイパーパラメータ（例：ペナルティ、閾値、フィルタ）をデータから学習することで、多様な画像統合タスクにおける統合性能が向上するか？
• RQ3 提案手法の深層CSCネットワークは、定量的指標および視覚的品質の両面でSOTA手法と比較してどのように差をつけるか？
• RQ4 本手法は、選りすぐりのテスト画像にとどまらず、大規模で多様なデータセットにおいても良好な一般化性能を示せるか？
• RQ5 本フレームワークは、さまざまな画像統合シナリオにおいて再現可能かつ頑健であるか？

主な発見

• 提案された深層CSCネットワークは、赤外線可視光、露出多様、マルチモーダル統合の3つのタスクすべてで最高の性能を達成した。
• 露出多様統合ベンチマークでは、MEONが8.1776、Brisqueが18.2694、Niqeが2.3980、Piqeが27.8342を達成し、比較対象のすべての手法の中で最高であった。
• Caveデータセットにおけるマルチモーダル統合では、PSNRが46.2319、SSIMが0.9900を達成し、2番目に優れた手法（GLPHS）の39.4215および0.9706を顕著に上回った。
• 視覚的評価では、提案手法がコントラストのバランスが良く、ハロ効果が低減され、微細なディテールやテクスチャが良好に保持された統合画像を生成することが確認された。
• 補足実験から、本手法は複数回の実行および複数のデータセットにおいて一貫した性能を示し、高い再現性を示した。
• 誤差マップでは、CNMF や PFCN といったSOTA手法と比較して、特にエッジ部やテクスチャが豊富な領域で再構成誤差を最小限に抑えることが確認された。