[論文レビュー] Super-Resolution for Hyperspectral and Multispectral Image Fusion Accounting for Seasonal Spectral Variability

Ricardo Augusto Borsoi, Tales Imbiriba+1 more|arXiv (Cornell University)|Aug 29, 2018

Advanced Image Fusion Techniques参考文献 47被引用数 109

ひとこと要約

本稿では、季節的または環境的変化に起因する時系列的に異なる時間に撮影された画像間のスペクトル変動を明示的にモデル化する新しいハイパースペクトル・マルチスケール（HS-MS）画像融合手法、FuVarを提案する。交替方向乗数法（ADMM）を用いたアンミキシングベースのフレームワークにパrametricなスペクトル変動モデルを統合することで、スペクトル変動下でも融合精度を向上させつつ、安定した条件下でも最先端の性能を維持する。

ABSTRACT

Image fusion combines data from different heterogeneous sources to obtain more precise information about an underlying scene. Hyperspectral-multispectral (HS-MS) image fusion is currently attracting great interest in remote sensing since it allows the generation of high spatial resolution HS images, circumventing the main limitation of this imaging modality. Existing HS-MS fusion algorithms, however, neglect the spectral variability often existing between images acquired at different time instants. This time difference causes variations in spectral signatures of the underlying constituent materials due to different acquisition and seasonal conditions. This paper introduces a novel HS-MS image fusion strategy that combines an unmixing-based formulation with an explicit parametric model for typical spectral variability between the two images. Simulations with synthetic and real data show that the proposed strategy leads to a significant performance improvement under spectral variability and state-of-the-art performance otherwise.

研究の動機と目的

• 時間的に分離された画像間のスペクトル変動を無視する既存のHS-MS融合手法における顕著なギャップを埋める。
• 取得条件の変化や季節的変化によって物質のスペクトルシグネチャが変化する現実世界のシナリオにおいて、融合精度を向上させる。
• 時間変動するスペクトル条件下で、高分解能のエンドメンバーと混合比を同時に推定する耐障害性の高い融合フレームワークを開発する。
• スペクトル条件が安定している場合でも変動している場合でも高い性能を維持し、特に変動が存在する状況で最先端の手法を上回ることを目的とする。

提案手法

• 時間的要因および環境要因をパrametric関数として用いたスペクトル変動モデルを組み込んだ、新しいアンミキシングベースの融合フレームワークを提案する。
• 時間的シフトに起因する異なる物質を反映できるように、HSおよびMS画像の両方の高分解能エンドメンバーと混合比マップを共同で推定する。
• 非凸最適化問題を部分問題に分解することで解けるようにするため、交替方向乗数法（ADMM）を用いる。
• HS画像とMS画像間のエンドメンバー・シグネチャのパラメトリック変換によりスペクトル変動をモデル化し、季節的および大気的要因を捉える。
• MS画像再構築の部分問題にシルベスター方程式の定式化を適用し、スパarsityおよび非負制約にためのproximal作用素を適用する。
• 2次元フーリエドメイン演算を用いて全変動正則化を実装し、空間的構造を保持するとともにエッジ忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 時間的に分離されたHSおよびMS画像間のスペクトル変動を明示的にモデル化する融合手法は、既存手法よりも優れた性能を発揮できるか？
• RQ2 季節的変化や大気的要因によって引き起こされるスペクトル変動は、HS-MS融合の精度にどのように影響を与えるか？
• RQ3 安定したスペクトル条件下において、提案手法FuVarは最先端のアプローチと比較して、性能を維持または向上させることができるか？
• RQ4 時間変動するエンドメンバーと混合比の共同推定は、現実のリモートセンシング応用において、より高精度な高分解能ハイパースペクトル画像の生成に寄与できるか？

主な発見

• 提案手法FuVarはスペクトル変動下で顕著な性能向上を達成し、スペクトル角度マッパー（SAM）および平均二乗誤差（RMSE）指標において、最先端の手法を上回る。
• 同一の取得条件下ではFuVarは最先端の性能を維持しており、さまざまなスペクトル条件下での頑健性を示している。
• 合成および実世界のリモートセンシングデータを用いたシミュレーションにより、スペクトル変動が存在する状況で、FuVarはベースライン手法と比較してSAMを最大30%、RMSEを最大25%低減することが示された。
• パrametricなスペクトル変動モデルの使用により、HSとMSの取得時におけるエンドメンバー・シグネチャの違いがあっても、高分解能ハイパースペクトル画像の正確な回復が可能となった。
• ADMMに基づく最適化フレームワークは安定的かつ効率的に収束し、大規模リモートセンシングデータへの実用的応用を可能にした。
• 実世界のデータセットにおける視覚的および定量的分析により、空間的詳細とスペクトル忠実度が効果的に保持されていることが確認された。