[論文レビュー] Hyperspectral-Multispectral Image Fusion with Weighted LASSO

Nguyen Tran, Rupali Mankar+2 more|arXiv (Cornell University)|Mar 15, 2020

Advanced Image Fusion Techniques参考文献 36被引用数 4

ひとこと要約

本稿では、効率性を高めるためにADMMを用い、再構成品質を向上させるためにMAP初期化を採用した重み付きLASSOに基づくハイパースペクトル・マルチスペクトル画像融合手法を提案する。ノイズ低減、スペクトル忠実度、計算速度の面で最先端手法を上回る性能を発揮し、特に高ノイズおよびぼやけた状態の条件下でも優れた性能を示す。

ABSTRACT

Spectral imaging enables spatially-resolved identification of materials in remote sensing, biomedicine, and astronomy. However, acquisition times require balancing spectral and spatial resolution with signal-to-noise. Hyperspectral imaging provides superior material specificity, while multispectral images are faster to collect at greater fidelity. We propose an approach for fusing hyperspectral and multispectral images to provide high-quality hyperspectral output. The proposed optimization leverages the least absolute shrinkage and selection operator (LASSO) to perform variable selection and regularization. Computational time is reduced by applying the alternating direction method of multipliers (ADMM), as well as initializing the fusion image by estimating it using maximum a posteriori (MAP) based on Hardie's method. We demonstrate that the proposed sparse fusion and reconstruction provides quantitatively superior results when compared to existing methods on publicly available images. Finally, we show how the proposed method can be practically applied in biomedical infrared spectroscopic microscopy.

研究の動機と目的

• ハイパースペクトル画像とマルチスペクトル画像におけるスペクトル分解能、空間分解能、信号対ノイズ比のトレードオフを解消すること。
• 入力画像にノイズやぼやけが存在する状況下でも、高い空間分解能と分子特異性を保持できる耐障害性の高い融合手法を開発すること。
• 効率的な最適化手法を用いて、高精度な再構成を維持したまま計算コストを低減すること。
• 特に厳しい撮影条件下でも、スペクトル忠実度とノイズ抑制を向上させた融合画像を得ること。
• 生体赤外分光顕微鏡応用における実用的妥当性を示すこと。

提案手法

• 本手法は、Frobeniusノルムを用いて融合画像と入力ハイパースペクトル画像（HSI）およびマルチスペクトル画像（MSI）との差を最小化する重み付きLASSO最適化フレームワークを採用する。
• LASSOによるノルム正則化を適用し、スパarsityを強制することで、融合出力におけるノイズ低減を実現する。
• 交替方向乗数法（ADMM）を用いて最適化問題を分解し、計算効率を著しく向上させる。
• 収束速度の向上と精度の改善を図るため、ハードルの手法に基づく最大後確信度（MAP）推定値を融合画像の初期化に用いる。
• HSIおよびMSI入力からの波長サンプリング、空間分解能、ノイズプロファイルといったモodal特徴を融合モデルに統合する。
• 複数の公開データセットを用いた、ノイズ条件が異なる状況下での評価において、PSNR、SAM、ERGAS、SSIMといった標準的な融合指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 LASSOに基づく最適化フレームワークは、スペクトルおよび空間忠実度を保持しつつ、ハイパースペクトル画像とマルチスペクトル画像を効果的に融合できるか？
• RQ2 ADMMとMAP初期化の統合は、計算効率と再構成品質をどのように向上させるか？
• RQ3 高ノイズおよびぼやけた状態において、提案手法は既存の最先端融合技術をどの程度上回るか？
• RQ4 ノイズ分布（ガウス分布対ポアソン分布）は、融合手法およびベースライン手法の性能にどのように影響を与えるか？
• RQ5 本手法は、現実の撮影制約を伴う生体赤外分光顕微鏡応用に実用的に適用可能か？

主な発見

• 提案手法は融合処理時間354.2秒、アルゴリズム処理時間479.3秒を達成し、Bayes Sparseがそれぞれ2170.9秒および6976.9秒を要したのに対し、顕著な高速化を実現した。
• ポアソンノイズを含むピアヴィア・センター・データセットにおいて、提案手法は平均SAM 3.25°を達成したのに対し、Bayes Sparseは6.46°であった。これにより、スペクトル忠実度が優れていることが示された。
• ガウスノイズ条件下では、KSCデータセットで平均6.2 dBのPSNR向上を達成し、インディアン・パインズおよびサリナスデータセットでも4 dBの優位性を示した。
• HSIがポアソンノイズで汚染された状況では、提案手法は平均でPSNRが6.66 dB低下したが、Bayes Sparseは1.86 dB低下にとどまった。これにより、ノイズタイプに対してより高い耐性を示した。
• ピアヴィア・ユニバーシティ・データセットでは、全SNRレベルで一貫した性能を維持し、50 dB SNRでBayes Sparseに対して4 dBのPSNR優位性を示した。
• KSCデータセット（疎なテクスチャを持つシーン）においても、性能低下が最小限に抑えられ、多様なデータタイプにわたる優れた汎化能力を示した。