[論文レビュー] Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction

Yuanhao Cai, Jing Lin+6 more|arXiv (Cornell University)|Nov 15, 2021

Photoacoustic and Ultrasonic Imaging参考文献 55被引用数 15

ひとこと要約

本稿では、符号化アパーチャーシャペルスナップショーシステム（CASSI）におけるハイパースペクトル画像（HSI）再構成のための、効率的なトランスフォーマーに基づくフレームワーク、マスクガイドドスペクトルワイズトランスフォーマー（MST）を提案する。スペクトル次元に沿って自己注意をモデル化するスペクトルワイズマルチヘッド自己注意（S-MSA）と、マスクガイドドメカニズム（MM）による注意のガイド化を通じて、計算コストとメモリコストを著しく削減しながら、最先端の性能を達成する。

ABSTRACT

Hyperspectral image (HSI) reconstruction aims to recover the 3D spatial-spectral signal from a 2D measurement in the coded aperture snapshot spectral imaging (CASSI) system. The HSI representations are highly similar and correlated across the spectral dimension. Modeling the inter-spectra interactions is beneficial for HSI reconstruction. However, existing CNN-based methods show limitations in capturing spectral-wise similarity and long-range dependencies. Besides, the HSI information is modulated by a coded aperture (physical mask) in CASSI. Nonetheless, current algorithms have not fully explored the guidance effect of the mask for HSI restoration. In this paper, we propose a novel framework, Mask-guided Spectral-wise Transformer (MST), for HSI reconstruction. Specifically, we present a Spectral-wise Multi-head Self-Attention (S-MSA) that treats each spectral feature as a token and calculates self-attention along the spectral dimension. In addition, we customize a Mask-guided Mechanism (MM) that directs S-MSA to pay attention to spatial regions with high-fidelity spectral representations. Extensive experiments show that our MST significantly outperforms state-of-the-art (SOTA) methods on simulation and real HSI datasets while requiring dramatically cheaper computational and memory costs. Code and pre-trained models are available at https://github.com/caiyuanhao1998/MST/

研究の動機と目的

• ハイパースペクトル画像（HSI）再構成における、CNNベースの手法がスペクトルワイズの類似性と長距離依存関係をモデル化する点での限界を解消すること。
• 既存の手法がそのガイドランスポテンシャルを十分に活用していない物理的符号化アパーチャーマスクを、CASSIシステムでより効果的に活用すること。
• 再構成品質を維持または向上させながら、計算コストとメモリコストを低減すること。
• HSIデータに内在する高いスペクトル相関性と空間スパarsityを活用し、効率的なモデリングを実現する手法の開発

提案手法

• 各スペクトルチャンネルをトークンとして扱い、スペクトル次元に沿って自己注意を計算することで、スペクトル間相関をモデル化するスペクトルワイズマルチヘッド自己注意（S-MSA）を導入する。
• 符号化アパーチャーマスクを用いてS-MSAの注目を、再構成品質の高いスペクトル表現を持つ空間領域に集中させるマスクガイドドメカニズム（MM）を提案する。
• 空間ワイズ自己注意をスペクトルワイズの注目に置き換えることで、HSIデータの内在的スペクトル類似性に適切に一致させる。
• 直接的な要素ごとの乗算によるマスク適用を避けるために、入力スキームを変更し、HSI情報の損傷を回避する。
• 空間の長距離相互作用ではなく、スペクトル依存性に焦点を当てることで、FLOPSとパラメータ数を削減した軽量アーキテクチャを採用する。
• エンドツーエンドのHSI再構成を実現するため、S-MSAとMMをトランスフォーマーに基づくエンコーダーデコーダーフレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル次元に沿った自己注意のモデル化は、空間ワイズ自己注意と比較して、HSI再構成においてスペクトル間相関性と長距離依存関係をより効果的に捉えられるか？
• RQ2 物理的符号化アパーチャーマスクは、注目メカニズムをどれほど効果的にガイドすることで、再構成品質と効率性を向上させられるか？
• RQ3 標準的なトランスフォーマーと比較して、スペクトルワイズ注目メカニズムは、計算コストを低減しながらも、再構成性能を維持または向上させられるか？
• RQ4 提案されたマスクガイドドメカニズム（MM）は、マスク乗算によってHSIデータを損傷する従来の入力スキームを上回る性能を発揮できるか？
• RQ5 S-MSAモジュールは、グローバルまたはローカルウィンドウベースのMSAと比較して、スペクトル相関性モデリングをどの程度向上させるか？

主な発見

• 提案されたMSTフレームワークは、CAESRデータセットにおいて33.17 dBのPSNRを達成し、以前のSOTA手法を0.89 dB上回った。
• わずか0.70Mのパラメータと2.93GのFLOPSで、ベースラインに対して0.89 dBの向上を達成したが、グローバルMSAと比較して著しく低い計算コストであった。
• S-MSAを用いて再構成されたHSIの相関係数マップは、正解に最も近い形状を示し、スペクトル類似性のモデリング効果を裏付けた。
• マスクガイドドメカニズム（MM）単体でもPSNRが1.08 dB向上し、高品質な領域への注目集中とノイズ抑制の能力を示した。
• S-MSAとMMを組み合わせることで、ベースラインから1.08 dBの向上が得られ、PSNRおよび効率性の両面ですべてのSOTA手法を上回った。
• 可視化分析により、MMモジュールが構造的ディテールやテクスチャに注目を集中させ、再構成HSIにおけるぼやけやアーチファクトを低減することが確認された。