[論文レビュー] Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction

Yuanhao Cai, Jing Lin+6 more|arXiv (Cornell University)|Mar 9, 2022

Photoacoustic and Ultrasonic Imaging被引用数 5

ひとこと要約

本稿では、ハイパースペクトル画像（HSI）信号に内在する空間的スパarsityを活用することで、計算効率と性能を向上させる、粗いから細かいスパーストランスフォーマー（CST）を提案する。スペクトルに配慮したスクリーニング機構（SASM）を用いて情報量の多いパッチを選択し、スペクトル集約ハッシュ化マルチヘッド自己注意（SAH-MSA）モジュールでコンテンツ関連ピクセルをクラスタリングすることで、従来手法と比較して顕著に計算コストを削減しつつ、最先端の再構成品質を達成する。

ABSTRACT

Many algorithms have been developed to solve the inverse problem of coded aperture snapshot spectral imaging (CASSI), i.e., recovering the 3D hyperspectral images (HSIs) from a 2D compressive measurement. In recent years, learning-based methods have demonstrated promising performance and dominated the mainstream research direction. However, existing CNN-based methods show limitations in capturing long-range dependencies and non-local self-similarity. Previous Transformer-based methods densely sample tokens, some of which are uninformative, and calculate the multi-head self-attention (MSA) between some tokens that are unrelated in content. This does not fit the spatially sparse nature of HSI signals and limits the model scalability. In this paper, we propose a novel Transformer-based method, coarse-to-fine sparse Transformer (CST), firstly embedding HSI sparsity into deep learning for HSI reconstruction. In particular, CST uses our proposed spectra-aware screening mechanism (SASM) for coarse patch selecting. Then the selected patches are fed into our customized spectra-aggregation hashing multi-head self-attention (SAH-MSA) for fine pixel clustering and self-similarity capturing. Comprehensive experiments show that our CST significantly outperforms state-of-the-art methods while requiring cheaper computational costs. The code and models will be released at https://github.com/caiyuanhao1998/MST

研究の動機と目的

• ハイパースペクトル画像（HSI）再構成における従来のCNNおよびトランスフォーマー基盤手法の非効率性と性能限界を是正すること。
• HSI信号に内在する空間的スパarsity（しばしば情報のない暗い領域が支配的）を活用すること。
• 情報のないまたはコンテンツ関連のないトークンに対する注意計算を回避することで、計算コストを低減すること。
• コンテンツに配慮したトークンクラスタリングを通じて、HSI再構成における長距離依存性のモデリングと非局所的自己類似性の捉え方を向上させること。
• 再構成品質と計算複雑性の間のより良いトレードオフを達成すること。

提案手法

• HSIの下流処理に適した情報量の多い信号豊富なパッチのみを特定・選択するためのスペクトルに配慮したスクリーニング機構（SASM）を提案する。
• 粗いから細かい学習スキームを適用：まずSASMでパッチを選択し、次にハッシュ関数を用いてスペクトル類似度に基づいて各パッチ内のピクセルをクラスタリングする。
• コンテンツ関連クラスタ（バケツ）内でのみ自己注意を計算するスペクトル集約ハッシュ化マルチヘッド自己注意（SAH-MSA）モジュールを導入し、冗長な計算を削減する。
• スペクトル特徴を離散的なバケツにマッピングする学習可能なハッシュ関数を用い、空間的に散らばっているがスペクトル的に類似したピクセルの効率的クラスタリングを実現する。
• 特徴表現と再構成品質を段階的に改善するためのマルチラウンド精錬戦略（Rラウンド）を採用する。
• 細かなディテールと構造的忠実性を保つために、マルチスケール損失とスペクトル一貫性損失を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 ハイパースペクトル画像に内在する空間的スパarsityを、深層学習基盤の再構成モデルで効果的に活用する方法は何か？
• RQ2 コンテンツに配慮したパッチ選択とトークンクラスタリングは、HSI再構成における自己注意メカニズムの効率性と正確性を向上させ得るか？
• RQ3 HSIデータにスパーストランスフォームを適用する際、計算コストと再構成性能の最適なトレードオフは何か？
• RQ4 スペクトル類似度に基づく局所的クラスタリングは、構造的およびスペクトル的ディテールの保持においてグローバルクラスタリングを上回るか？
• RQ5 PSNR、SSIM、視覚的品質の観点から、本手法は最先端のCNNおよびトランスフォーマー基盤手法と比較してどのように差をつけるか？

主な発見

• 提案手法CSTは、CAEXデータセットにおいて35.53 dBのPSNRを達成し、前回のSOTA手法を0.96 dB上回り、FLOPSは28.7%削減した。
• SAH-MSAモジュールはベースラインと比較してPSNRで2.96 dBの向上を達成したが、追加パラメータは0.85M、FLOPSは18.20Gにとどまり、優れたコスト効率を示した。
• 局所的クラスタリングスコープ（M×Mパッチ内）はグローバルクラスタリングを上回る性能を示した。これは、スコープが大きくなるとハッシュクラスタリングの品質が低下し、バケツ内でのコンテンツ相関性が低下するためである。
• 最適なスパarsityレートσは0.5であり、これ以上の値（例：50%以上）では、重要な信号情報の損失により顕著な性能低下が生じた。
• ラウンド数R=2が性能と計算コストのバランスにおいて最適であり、R=2を超えると利得が減少する傾向を示した。
• 視覚的結果では、CSTは特にスペクトル的コンテンツが疎な複雑なシーンにおいて、従来手法と比較してより繊密なテクスチャと構造的ディテールを保持していることが明らかになった。