[論文レビュー] Hyperspectral Image Super-Resolution via Dual-domain Network Based on Hybrid Convolution

Tingting Liu, Yuan Liu+4 more|arXiv (Cornell University)|Apr 10, 2023

Advanced Image Fusion Techniques被引用数 4

ひとこと要約

本稿では、プログレッシブアップサンプリングと動的周波数損失を用いたハイブリッド2D/3D畳み込みユニットを活用することで、空間的・スペクトル的特徴の学習を強化する、二重ドメインの高スペクトル画像スーパーレゾリューション手法SRDNetを提案する。空間ドメインにおける自己注意機構と周波数ドメイン最適化を統合することで、ベンチマークデータセット上で最先端の性能を達成し、テクスチャの詳細と視認性の質が顕著に向上する。

ABSTRACT

Since the number of incident energies is limited, it is difficult to directly acquire hyperspectral images (HSI) with high spatial resolution. Considering the high dimensionality and correlation of HSI, super-resolution (SR) of HSI remains a challenge in the absence of auxiliary high-resolution images. Furthermore, it is very important to extract the spatial features effectively and make full use of the spectral information. This paper proposes a novel HSI super-resolution algorithm, termed dual-domain network based on hybrid convolution (SRDNet). Specifically, a dual-domain network is designed to fully exploit the spatial-spectral and frequency information among the hyper-spectral data. To capture inter-spectral self-similarity, a self-attention learning mechanism (HSL) is devised in the spatial domain. Meanwhile the pyramid structure is applied to increase the acceptance field of attention, which further reinforces the feature representation ability of the network. Moreover, to further improve the perceptual quality of HSI, a frequency loss(HFL) is introduced to optimize the model in the frequency domain. The dynamic weighting mechanism drives the network to gradually refine the generated frequency and excessive smoothing caused by spatial loss. Finally, In order to better fully obtain the mapping relationship between high-resolution space and low-resolution space, a hybrid module of 2D and 3D units with progressive upsampling strategy is utilized in our method. Experiments on a widely used benchmark dataset illustrate that the proposed SRDNet method enhances the texture information of HSI and is superior to state-of-the-art methods.

研究の動機と目的

• 限られた入射エネルギーによる高スペクトル画像（HSI）の低空間分解能の課題に対処すること。
• HSIにおける空間的・スペクトル的相関および波長間自己同型性を効果的に捉えることで、特徴表現を向上させること。
• 周波数ドメイン最適化を組み込むことで、再構成されたHSIの視認性の質を向上させること。
• プログレッシブアップサンプリングを用いたハイブリッド2D/3D畳み込みアーキテクチャにより、低分解能から高分解能HSIへの堅牢なマッピングを確立すること。
• 補助的な高分解能データを必要とせず、スペクトルおよび空間情報の潜在的特徴を十分に活用できない既存手法の限界を克服すること。

提案手法

• 高スペクトルデータにおける空間的・スペクトル的および周波数ドメインの情報を統合的に活用する二重ドメインネットワークを設計する。
• 空間ドメインにおいて、波長間自己同型性を捉えるために自己注意機構（HSL）を適用し、ピラミッド構造により受容 field を拡大する。
• 周波数ドメインでのモデル最適化を図るため、周波数損失（HFL）を導入し、視認性の質を向上させるとともに、過剰な平滑化を低減する。
• 空間損失と周波数損失の間で動的重み付けを行うメカニズムを採用し、高周波成分の段階的精錬を可能にする。
• プログレッシブアップサンプリング戦略を用いた2Dおよび3D畳み込みユニットを統合したハイブリッドモジュールを採用し、LRからHRへのマッピングをよりよく学習する。
• 再構成忠実度を向上させるために、L1損失、知覚損失、周波数損失を組み合わせたマルチ損失目的関数を用いて、エンドツーエンドでネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 補助的な高分解能データが存在しない状況下で、高スペクトル画像スーパーレゾリューションにおいて空間的・スペクトル的特徴を効果的に捉える方法は何か？
• RQ2 周波数ドメイン最適化を組み込むことで、スーパーレゾルブされたHSIの視認性の質はどの程度向上するか？
• RQ3 プログレッシブアップサンプリングを用いたハイブリッド2D/3D畳み込みアーキテクチャは、標準的な2Dまたは3Dネットワークと比較して、HSIにおけるLRからHRへのマッピングをよりよくモデル化できるか？
• RQ4 ピラミッド構造を備えた自己注意機構は、HSI SRにおける空間ドメインでの特徴表現をどのように向上させるか？
• RQ5 空間ドメインと周波数ドメイン間の動的損失重み付けが、再構成精度およびテクスチャの保存に与える影響は何か？

主な発見

• SRDNetは、広く用いられるベンチマークデータセットで優れた性能を発揮し、定量的指標および視覚的品質の両面で最先端の手法を上回る。
• 提案された周波数損失（HFL）は、高周波成分の詳細を保持し、過剰な平滑化を低減することで、視認性の質を顕著に向上させる。
• 自己注意機構とピラミッド構造の統合により、ネットワークの長距離スペクトル依存性のモデル化能力が向上し、特徴表現が改善される。
• 動的重み付けメカニズムにより、空間損失と周波数損失のバランスが適切にとられ、より正確で詳細な再構成が達成される。
• プログレッシブアップサンプリングを用いたハイブリッド2D/3D畳み込みモジュールにより、低分解能から高分解能へのマッピングの学習がより効果的になり、シャープなテクスチャと繊細な空間的詳細が得られる。
• アブレーションスタディにより、HSL、HFL、およびハイブリッドアーキテクチャの各要素が全体の性能向上に有効であることが確認された。