[論文レビュー] Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion

Danfeng Hong, Jing Yao+3 more|arXiv (Cornell University)|May 7, 2022

Advanced Image Fusion Techniques被引用数 8

ひとこと要約

本稿では、サブピクセルレベルで高分解能マルチスペクトル画像と低分解能ハイパースペクトル画像を分離および統合する自己教師付きハイパースペクトル画像スーパーレゾリューションフレームワーク、DC-Netを提案する。生成的対抗ネットワークを用いた分離、モデル誘導型の結合スペクトルアンミキシングネットワークによる統合、および物質の一貫性を強制する自己教師付きモジュールを統合することで、模擬的および実世界のデータの両方で最先端の性能を達成し、空間的詳細とスペクトル忠実度が向上している。

ABSTRACT

Enormous efforts have been recently made to super-resolve hyperspectral (HS) images with the aid of high spatial resolution multispectral (MS) images. Most prior works usually perform the fusion task by means of multifarious pixel-level priors. Yet the intrinsic effects of a large distribution gap between HS-MS data due to differences in the spatial and spectral resolution are less investigated. The gap might be caused by unknown sensor-specific properties or highly-mixed spectral information within one pixel (due to low spatial resolution). To this end, we propose a subpixel-level HS super-resolution framework by devising a novel decoupled-and-coupled network, called DC-Net, to progressively fuse HS-MS information from the pixel- to subpixel-level, from the image- to feature-level. As the name suggests, DC-Net first decouples the input into common (or cross-sensor) and sensor-specific components to eliminate the gap between HS-MS images before further fusion, and then fully blends them by a model-guided coupled spectral unmixing (CSU) net. More significantly, we append a self-supervised learning module behind the CSU net by guaranteeing the material consistency to enhance the detailed appearances of the restored HS product. Extensive experimental results show the superiority of our method both visually and quantitatively and achieve a significant improvement in comparison with the state-of-the-arts. Furthermore, the codes and datasets will be available at https://sites.google.com/view/danfeng-hong for the sake of reproducibility.

研究の動機と目的

• センサ固有の特性およびスペクトル混合によって引き起こされるハイパースペクトル（HS）画像とマルチスペクトル（MS）画像間の大きな分布ギャップに対処する。
• ピクセルレベルの統合手法に限界があり、サブピクセルレベルの関係や混合ピクセルを適切にモデル化できない問題を克服する。
• スペクトルアンミキシングからの物理的事前知識と自己教師付き学習を統合することで、高分解能ハイパースペクトル（HrHS）画像再構成の忠実度を向上させる。
• 画像レベルから特徴量レベル、ピクセルレベルからサブピクセルレベルへと段階的に統合するプログレッシブな統合フレームワークを開発する。
• 一貫性のあるエンドツーエンドのアーキテクチャにより、多様なシーンにわたる耐性と一般化性能を確保し、再現性のある結果を得る。

提案手法

• 生成的対抗ネットワーク（GANs）を用いた分離サブネットワーク（D-Net）を設計し、HSおよびMS入力を共通（クロスセンサ）成分とセンサ固有成分に分離することで、モダリティギャップを低減する。
• サブピクセルレベルの混合をモデル化するための結合スペクトルアンミキシング（CSU）ネットワーク（C-Net）を実装し、ピクセルを純粋なエンドメンバーと濃度に分解することで、コンactな統合を実現する。
• 再構成画像と正解画像の濃度マップ間の物質的一貫性を強制する自己教師付き学習モジュール（S-Net）を導入し、テクスチャおよび幾何学的詳細を向上させる。
• 濃度非負制約（ANC）および濃度合計が1に等しい制約（ASC）という2つの物理的制約を導入し、スペクトルアンミキシングプロセスの正則化と安定性向上を図る。
• 再構成損失、知覚損失、自己教師付き一貫性損失を組み合わせた損失関数を用いて、DC-Net全体をエンドツーエンドで訓練する。
• まずD-NetでHS-MSデータを画像レベルでアライメントし、次にC-Netで特徴量をサブピクセルレベルで統合し、最後にS-Netで出力を精緻化するプログレッシブ統合戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 センサ固有の特性およびスペクトル混合の影響によって生じるHSとMS画像間の分布ギャップを効果的に低減できる、分離・結合ネットワークアーキテクチャは有効であるか？
• RQ2 結合スペクトルアンミキシングによるサブピクセルレベルの統合は、ピクセルレベルの統合と比較して、ハイパースペクトルスーパーレゾリューションの品質をどの程度向上させるか？
• RQ3 物質的一貫性に基づく自己教師付き学習は、再構成HrHS画像の現実性および構造的詳細をどの程度向上させるか？
• RQ4 物理的制約（ANCおよびASC）は、スペクトルアンミキシングに基づく統合プロセスの耐性および正確性を向上させるにあたり、果たす貢献は何か？
• RQ5 提案されたDC-Netは、模擬的および実衛星データを含む多様な実世界のシーンおよびデータセットに、良好に一般化されるか？

主な発見

• D-Netを含まないベースラインC-Netと比較して、DC-NetはPSNRで約1.5 dBの向上とSAMで2°以上の低減を達成し、分離モジュールの有効性を示している。
• C-NetでANCおよびASC制約を併用した場合、制約なしの場合と比較してPSNRで4 dB以上の向上とSAM値の半減が達成され、性能向上が顕著に見られた。
• 自己教師付きモジュール（S-Net）により、性能のボトルネックが解消され、テクスチャおよび構造的詳細が顕著に向上した。
• CAVEデータセットでは、DC-Net-Sは平均PSNR 31.2 dB、SAM 1.5°を達成し、S3Net、U-Net、U-Net-CAを含む最先端手法を上回った。
• WorldView-3およびHyperionデータを用いた実世界実験では、DC-Net-Sは、LrHSに近い色調と明るさ、HrMSとのより良い構造的一致性を示す高視覚的忠実度のHrHS結果を生成した。
• モデルは計算効率が高く、パラメータサイズが3.43 MB、GTX 1080Ti GPU上での平均推論時間は1画像あたり101分であり、実応用に実用的である。