[論文レビュー] Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution

Qi Wang, Qiang Li+1 more|arXiv (Cornell University)|Jan 14, 2020

Advanced Image Fusion Techniques参考文献 41被引用数 24

ひとこと要約

本稿では、空間的・スペクトル的特徴を空間-スペクトル残差モジュール（SSRM）と分離可能3次元畳み込みを用いて共同で活用する3次元畳み込みニューラルネットワーク、SSRNetを提案する。この手法により、最先端のハイパースペクトル画像スーパーレゾリューションが達成された。PSNR、SSIM、SAMの指標が著しく向上し、スペクトルの忠実度を保持するとともにバンド損失を回避する。

ABSTRACT

Deep learning-based hyperspectral image super-resolution (SR) methods have achieved great success recently. However, most existing models can not effectively explore spatial information and spectral information between bands simultaneously, obtaining relatively low performance. To address this issue, in this paper, we propose a novel spectral-spatial residual network for hyperspectral image super-resolution (SSRNet). Our method can effectively explore spatial-spectral information by using 3D convolution instead of 2D convolution, which enables the network to better extract potential information. Furthermore, we design a spectral-spatial residual module (SSRM) to adaptively learn more effective features from all the hierarchical features in units through local feature fusion, significantly improving the performance of the algorithm. In each unit, we employ spatial and temporal separable 3D convolution to extract spatial and spectral information, which not only reduces unaffordable memory usage and high computational cost, but also makes the network easier to train. Extensive evaluations and comparisons on three benchmark datasets demonstrate that the proposed approach achieves superior performance in comparison to existing state-of-the-art methods.

研究の動機と目的

• 既存のディープラーニング手法がハイパースペクトル画像スーパーレゾリューション（HSI-SR）において、空間的およびスペクトル的情報を同時に捉えることの制限を解消すること。
• 再構築中にスペクトル歪みを回避し、元のスペクトルバンド数を保持するネットワークの開発。
• 効率的な分離可能3次元畳み込みを用いて、計算コストとメモリ使用量を低減しながら高い性能を維持すること。
• ペアの高分解能RGB画像を必要とせず、エンドツーエンドの教師あり学習を可能にすること。
• 残差モジュール内の局所的特徴統合を用いて階層的特徴を適応的に統合し、特徴表現を向上させること。

提案手法

• 提案されたSSRNetは、2次元畳み込みではなく3次元畳み込み層を採用し、ハイパースペクトルデータから空間的およびスペクトル的特徴を同時に抽出する。
• 局所的特徴統合を通じて階層的ユニット間で有効な特徴を適応的に学習するため、空間-スペクトル残差モジュール（SSRM）が設計された。
• 空間的およびスペクトル的特徴を独立して抽出するために、分離可能3次元畳み込みが用いられ、モデルの複雑さと学習コストが低減された。
• ネットワークは教師あり学習により、低分解能から高分解能のハイパースペクトル画像へのマッピングを学習する。
• アーキテクチャはスペクトルバンド数を変更しないため、再構築における完全なスペクトル忠実度が保証される。
• 本手法はペアのRGB画像に依存しないため、多様なデータセットやシーンにおいてより頑健である。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みに基づくネットワークは、ハイパースペクトル画像スーパーレゾリューションにおいて、空間的およびスペクトル的特徴を効果的に活用できるか？
• RQ2 空間-スペクトル残差モジュールにおける局所的特徴統合は、標準的な残差ブロックと比較して特徴表現をどのように向上させるか？
• RQ3 分離可能3次元畳み込みは、性能を損なわせることなく、計算コストをどの程度低減できるか？
• RQ4 複数のベンチマークデータセットにおいて、PSNR、SSIM、SAMの観点から、本手法は最先端手法と比較してどの程度優れているか？
• RQ5 RGB画像のガイドランスが欠如していることで、異なるハイパースペクトルシーンにおける頑健性と一般化性能が向上するか？

主な発見

• ×4スケーリング要因のCAVEデータセットにおいて、SSRNetはPSNR 38.67 dBを達成し、2番目に優れた手法（EDSR）を+0.36 dB上回った。
• 同じデータセットにおいて、SSRNetはSSIMを+0.002、SAMを-0.07改善し、EDSRを上回った。
• Harvardデータセットでは、×3スケールで2番目に優れた手法よりもPSNRで+0.98 dB、SSIMで+0.004の向上を達成した。
• 視覚的比較では、SSRNetが最も正確なエッジディテールを生成し、絶対誤差マップが最も青く（最小に）、優れた再構築品質を示した。
• スペクトルカーブ解析により、SSRNetのスペクトル応答が真値に最も近く、3D-FCNNが再構築中にバンドを失うのと比較して顕著に歪みが少なかった。
• SSRNetは完全なスペクトルバンド数を維持し、すべてのデータセットおよびスケーリング要因において一貫して低いSAM値を示しており、最高のスペクトル忠実度を達成した。