[論文レビュー] Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution

Jing Yao, Danfeng Hong+4 more|arXiv (Cornell University)|Jul 10, 2020

Advanced Image Fusion Techniques参考文献 40被引用数 8

ひとこと要約

本稿では、マルチスペクトル画像を用いて空間分解能を向上させるために、クロスアテンションを組み込んだ結合アンミキシングネットワークを活用する、新しい教師なしハイパースペクトルスーパーレゾリューション手法CUCaNetを提案する。2ストリームオートエンコーダーを用いてスペクトルおよび空間表現を共同で学習し、クローズドループ正則化によって一貫性を強制することで、ベンチマークデータセット上での低SAM値および低ERGAS値により、特にスペクトル忠実度において最先端の性能を達成する。

ABSTRACT

The recent advancement of deep learning techniques has made great progress on hyperspectral image super-resolution (HSI-SR). Yet the development of unsupervised deep networks remains challenging for this task. To this end, we propose a novel coupled unmixing network with a cross-attention mechanism, CUCaNet for short, to enhance the spatial resolution of HSI by means of higher-spatial-resolution multispectral image (MSI). Inspired by coupled spectral unmixing, a two-stream convolutional autoencoder framework is taken as backbone to jointly decompose MS and HS data into a spectrally meaningful basis and corresponding coefficients. CUCaNet is capable of adaptively learning spectral and spatial response functions from HS-MS correspondences by enforcing reasonable consistency assumptions on the networks. Moreover, a cross-attention module is devised to yield more effective spatial-spectral information transfer in networks. Extensive experiments are conducted on three widely-used HS-MS datasets in comparison with state-of-the-art HSI-SR models, demonstrating the superiority of the CUCaNet in the HSI-SR application. Furthermore, the codes and datasets will be available at: https://github.com/danfenghong/ECCV2020_CUCaNet.

研究の動機と目的

• ペairedトレーニングデータを必要としない教師なしハイパースペクトル画像スーパーレゾリューション（HSI-SR）の課題に対処すること。
• 手作業で設計された事前知識や外部のスペクトル応答関数、複雑な最適化スキームに依存する既存の教師なし手法の限界を克服すること。
• 物理的に一貫した方法で、スペクトルアンミキシングと空間・スペクトル特徴の転送を共同でモデル化するディープラーニングフレームワークを開発すること。
• マルチスペクトルおよびハイパースペクトルセンサー間で、未知の点 spread 関数（PSFs）およびスペクトル応答関数（SRFs）をエンドツーエンドで学習可能にすること。
• MSおよびHSブランチ間の空間的・スペクトル的情報交換を強化するため、クロスアテンション機構を統合して再構成品質を向上させること。

提案手法

• マルチスペクトル（MS）およびハイパースペクトル（HS）画像を、共有スペクトル基底とそれに応じた空間的に変化する係数に同時に分解する2ストリーム畳み込みオートエンコーダーを設計する。
• MSおよびHSブランチ間での動的かつ適応的な特徴転送を可能にするクロスアテンションモジュールを導入し、空間的・スペクトル的表現学習を強化する。
• 空間的およびスペクトル的領域の両方でクローズドループ一貫性正則化を適用し、解空間を収縮させ、最適化の安定性を向上させる。
• センサーの特性に関する事前知識に依存せずに、データからエンドツーエンドで未知のPSFsおよびSRFsを学習する。
• 高分解能HS画像の教師データを一切必要とせず、同じシーンからのMSおよびHS画像ペアのみを用いてネットワークを教師なしで訓練する。
• ピxls単位およびスペクトル忠実度に基づく再構成損失を最適化に用い、物理的妥当性を維持するための追加正則化を施す。

実験結果

リサーチクエスチョン

• RQ1 ペアドトレーニングデータを必要としない結合アンミキシングネットワークにクロスアテンションを組み込むことで、教師なしHSI-SR性能が向上するか？
• RQ2 標準的なアテンションや連結処理と比較して、提案されたクロスアテンション機構は空間的・スペクトル的特徴統合にどの程度効果的か？
• RQ3 エンドツーエンドでMSおよびHSセンサー間の未知のPSFsおよびSRFsをどの程度正確に学習できるか？
• RQ4 クローズドループ一貫性正則化は最適化収束性および再構成品質を顕著に改善するか？
• RQ5 スペクトル忠実度および空間忠実度の観点から、CUCaNetは最先端の教師ありおよび教師なしHSI-SR手法と比較してどの程度優れているか？

主な発見

• パビア大学データセットでは、CUCaNetが最高のPSNR（37.22）および最低のSAM（4.43°）を達成し、MHFnetやuSDNを含むすべての競合手法を上回った。
• 筑波データセットでは、CUCaNetがPSNR 42.70、SAM 3.13°を達成し、PSNRはMHFnet（PSNR: 43.71、SAM: 3.51°）を上回るが、スペクトル精度においては顕著に優れた性能を示した。
• パビア大学ではERGASが0.82、筑波では0.40を記録し、いずれも最低水準にあり、優れた全体的な再構成品質と相対誤差の低減を示している。
• パビア大学（SSIM: 0.914、UQI: 0.991）および筑波（SSIM: 0.988、UQI: 0.990）におけるCUCaNetのSSIMおよびUQI値は、すべての手法の中で最高であり、優れた知覚的および構造的忠実度を確認している。
• 残差画像の可視的分析から、CUCaNetは微細な空間的およびスペクトル的詳細において最小限の誤差パターンを生成し、最も正確な結果をもたらすことが確認された。
• アブレーションスタディの結果、クロスアテンションモジュールおよび一貫性正則化は性能に不可欠であり、いずれのコンponentが欠落しても指標が著しく低下した。