[論文レビュー] A New Backbone for Hyperspectral Image Reconstruction.

Jiamian Wang, Yulun Zhang+3 more|arXiv (Cornell University)|Aug 17, 2021

Sparse and Compressive Sensing Techniques参考文献 47被引用数 7

ひとこと要約

本論文では、空間的・スペクトル的不変性学習、ネストド残差接続、計算効率を統合した新しいバックボーン、SSI-ResU-Netを提案する。この手法は、TSA-Netと比較してPSNRが3 dB高く、SSIMが0.036高い最先端の性能を達成している一方で、パラメータ数はわずか2.82%に抑えられ、FLOPsは77.3%削減されており、実用的なGPUメモリ制約下でも高解像度再構成が可能である。

ABSTRACT

The study of 3D hyperspectral image (HSI) reconstruction refers to the inverse process of snapshot compressive imaging, during which the optical system, e.g., the coded aperture snapshot spectral imaging (CASSI) system, captures the 3D spatial-spectral signal and encodes it to a 2D measurement. While numerous sophisticated neural networks have been elaborated for end-to-end reconstruction, trade-offs still need to be made among performance, efficiency (training and inference time), and feasibility (the ability of restoring high resolution HSI on limited GPU memory). This raises a challenge to design a new baseline to conjointly meet the above requirements. In this paper, we fill in this blank by proposing a Spatial/Spectral Invariant Residual U-Net, namely SSI-ResU-Net. It differentiates with U-Net in three folds--1) scale/spectral-invariant learning, 2) nested residual learning, and 3) computational efficiency. Benefiting from these three modules, the proposed SSI-ResU-Net outperforms the current state-of-the-art method TSA-Net by over 3 dB in PSNR and 0.036 in SSIM while only using 2.82% trainable parameters. To the greatest extent, SSI-ResU-Net achieves competing performance with over 77.3% reduction in terms of floating-point operations (FLOPs), which for the first time, makes high-resolution HSI reconstruction feasible under practical application scenarios. Code and pre-trained models are made available at this https URL.

研究の動機と目的

• ハイパースペクトル画像（HSI）再構成における再構成性能、計算効率、GPUメモリの実用的制約の間のトレードオフを解消すること。
• 限られたGPUメモリなどの実用的制約下でも高解像度HSI再構成を可能にするニューラルネットワークバックボーンの設計。
• 再構成品質を損なわずにモデルの複雑さとFLOPsを低減すること。
• 既存手法を上回る精度と効率を両立する新しいベースラインを確立すること。

提案手法

• 異なるスケールにおける空間的およびスペクトル的不変性を活用することで、特徴表現を向上させるスケール／スペクトル不変性学習を導入する。
• 各ブロック内での深層残差接続により勾配の流れを改善し、特徴の精錬を図るネストド残差学習を採用する。
• 冗長なパラメータを最小限に抑えることで、表現力は維持しつつパラメータ数を削減する軽量アーキテクチャを設計する。
• 構造の単純化による計算効率の最適化により、先行手法と比較してFLOPsを77.3%削減する。
• 不変性および残差モジュールを統合したU-Netのエンコーダ・デコーダ構造を採用し、再構成の忠実度を向上させる。
• 空間的およびスペクトル的詳細を保持するために、知覚損失と再構成損失を組み合わせたエンドツーエンド学習を実装する。

実験結果

リサーチクエスチョン

• RQ1 軽量なニューラルネットワークアーキテクチャは、FLOPsとパラメータ数を大幅に削減しながらも、優れたHSI再構成性能を達成できるか？
• RQ2 空間的／スペクトル的不変性学習は、HSI再構成における特徴表現をどのように向上させるか？
• RQ3 ネストド残差学習は、最小限の計算コストで再構成品質をどの程度向上できるか？
• RQ4 提案手法は、限られたGPUメモリ下でも高解像度HSI再構成を可能にするか？
• RQ5 TSA-Netなどの最先端手法と比較して、SSI-ResU-NetはPSNR、SSIM、推論効率の観点でどのように差をつけるか？

主な発見

• SSI-ResU-Netは、最先端手法TSA-Netと比較して、PSNRが3 dB以上高く、SSIMが0.036高い。
• TSA-Netが要する学習可能なパラメータの2.82%しか使用しないため、モデルの複雑さが顕著に低減された。
• TSA-Netと比較して浮動小数点演算（FLOPs）を77.3%削減しており、リアルタイムかつメモリ効率の良い推論を実現した。
• 本手法は、実用的なGPUメモリ制約下でも、初めて高解像度HSI再構成を可能にした。
• 多様なスペクトル的および空間的ドメインにわたり、強力な汎化性能と再構成忠実度を維持している。
• コードと事前学習済みモデルを公開しており、再現性の確保とさらなる研究を支援している。