[論文レビュー] Multispectral and Hyperspectral Image Fusion by MS/HS Fusion Net

Qi Xie, Minghao Zhou+4 more|arXiv (Cornell University)|Jan 10, 2019

Advanced Image Fusion Techniques参考文献 51被引用数 19

ひとこと要約

本稿では、高分解能マルチスペクトル（HrMS）および低分解能ハイパースペクトル（LrHS）画像を、物理的観測モデルと低ランクスペクトル事前知識を学習可能な最適化ベースのネットワークに統合した、MS/HS フュージョン ネットを提案する。反復的プロキシマルアルゴリズムを学習可能なオペレータを有する深層残差ネットワークにアンフォールドすることで、シミュレート済みおよび実世界データの両方で最先端の性能を達成し、PSNR、SAM、SSIM の指標において従来手法を顕著に上回った。

ABSTRACT

Hyperspectral imaging can help better understand the characteristics of different materials, compared with traditional image systems. However, only high-resolution multispectral (HrMS) and low-resolution hyperspectral (LrHS) images can generally be captured at video rate in practice. In this paper, we propose a model-based deep learning approach for merging an HrMS and LrHS images to generate a high-resolution hyperspectral (HrHS) image. In specific, we construct a novel MS/HS fusion model which takes the observation models of low-resolution images and the low-rankness knowledge along the spectral mode of HrHS image into consideration. Then we design an iterative algorithm to solve the model by exploiting the proximal gradient method. And then, by unfolding the designed algorithm, we construct a deep network, called MS/HS Fusion Net, with learning the proximal operators and model parameters by convolutional neural networks. Experimental results on simulated and real data substantiate the superiority of our method both visually and quantitatively as compared with state-of-the-art methods along this line of research.

研究の動機と目的

• ハイパースペクトル画像フュージョンの不適切な性質に対処するため、物理的観測モデルと画像の内在的事前知識を統合すること。
• スパarsity や全変動性といった主観的で固定された事前知識に依存する従来手法の限界を克服すること。
• 汎用ネットワークを適応させるのではなく、MS/HS フュージョンに特化して設計された解釈可能で深層学習モデルを構築すること。
• データから空間的およびスペクトル的応答オペレータ（R と C）をエンド・ツー・エンドで学習可能にすることにより、統合精度を向上させること。
• シミュレート済みおよび実世界の両データセットで優れた性能を発揮し、教師なしの困難な実データに対しても優位性を示すこと。

提案手法

• 本手法は、観測モデル Y = XR + Ny および Z = CX + Nz を組み込んだ最適化問題として MS/HS フュージョンを定式化する。ここで X はターゲットの HrHS 画像を表す。
• X のスペクトル次元に沿った低ランク性を強制することで、内在するスペクトル相関を活用し、スペクトル歪みを低減する。
• 観測モデルと低ランク事前知識を統合した反復的プロキシマル勾配アルゴリズムを設計し、最適化問題を解く。
• アルゴリズムを深層残差ネットワーク（MS/HS フュージョン ネット）にアンフォールドし、プロキシマルオペレータとモデルパラメータを畳み込み層によって学習する。
• ペアドされた HrMS と LrHS パッチとそれに対応する HrHS ターゲットを用いてエンド・ツー・エンドでネットワークを訓練し、空間的・スペクトル的再構成と応答オペレータの共同学習を可能にする。
• ネットワークは、画像形成プロセスの背後にある物理的整合性と解釈可能性を保つために、特に設計されている。

実験結果

リサーチクエスチョン

• RQ1 汎用ネットワークアーキテクチャに依存するのではなく、物理的観測モデルを埋め込むことで、MS/HS フュージョン用の深層学習モデルがより優れた性能を達成できるか？
• RQ2 スペクトルの低ランク性を組み込むことで、統合精度が向上し、スペクトル歪みが低減するか？
• RQ3 最適化ベースの反復的アルゴリズムを、実世界データにうまく一般化できる深層ネットワークに効果的にアンフォールドできるか？
• RQ4 空間的およびスペクトル的応答オペレータ（R と C）が、どれほどデータからエンド・ツー・エンドで学習可能か？
• RQ5 提案手法は、シミュレート済みおよび実世界の両方の MS/HS フュージョン状況において、最先端の手法を上回る性能を発揮するか？

主な発見

• Chikusei データセットでは、提案手法の MHF-net が 32.26 dB の PSNR を達成し、2番目に優れた手法（ResNet による 29.35 dB）を顕著に上回った。
• Chikusei での SAM は 3.02° であり、ResNet の 3.69° よりも顕著に低く、より優れたスペクトル忠実性を示した。
• 視覚的比較では、MHF-net は真値に最も近い結果を生成し、最小限のスペクトル歪みと、繊細なテクスチャおよび構造的詳細の良好な保持を実現した。
• 実世界のローマ・コロッセウムデータでは、MHF-net は色調と明るさの LrHS 画像への一致がより正確で、視覚的に優れた結果を生成した。
• Chikusei では SSIM（0.890）と FSIM（0.946）が最高を記録し、優れた構造的および知覚的品質を示した。
• 教師なしの実データに対しても、MHF-net は競合手法よりも一貫して優れた視覚的品質を示し、強力な一般化性能を示した。