[論文レビュー] S^2-Transformer for Mask-Aware Hyperspectral Image Reconstruction

Jiamian Wang, Kunpeng Li+3 more|arXiv (Cornell University)|Sep 24, 2022

Photoacoustic and Ultrasonic Imaging被引用数 4

ひとこと要約

本稿では、CASSI測定からの高精度なハイパースペクトル画像再構成のためのマスク認識学習を備えたS²-Transformerネットワークを提案する。空間的およびスペクトル的アテンションを統合的にモデル化し、マスク領域における再構成損失を適応的に優先することで、最先端の性能を達成し、従来手法に比べてPSNRを0.17 dB、SSIMを0.0015向上させた。

ABSTRACT

Snapshot compressive imaging (SCI) surges as a novel way of capturing hyperspectral images. It operates an optical encoder to compress the 3D data into a 2D measurement and adopts a software decoder for the signal reconstruction. Recently, a representative SCI set-up of coded aperture snapshot compressive imager (CASSI) with Transformer reconstruction backend remarks high-fidelity sensing performance. However, dominant spatial and spectral attention designs show limitations in hyperspectral modeling. The spatial attention values describe the inter-pixel correlation but overlook the across-spectra variation within each pixel. The spectral attention size is unscalable to the token spatial size and thus bottlenecks information allocation. Besides, CASSI entangles the spatial and spectral information into a 2D measurement, placing a barrier for information disentanglement and modeling. In addition, CASSI blocks the light with a physical binary mask, yielding the masked data loss. To tackle above challenges, we propose a spatial-spectral (S2-) Transformer implemented by a paralleled attention design and a mask-aware learning strategy. Firstly, we systematically explore pros and cons of different spatial (-spectral) attention designs, based on which we find performing both attentions in parallel well disentangles and models the blended information. Secondly, the masked pixels induce higher prediction difficulty and should be treated differently from unmasked ones. We adaptively prioritize the loss penalty attributing to the mask structure by referring to the mask-encoded prediction as an uncertainty estimator. We theoretically discuss the distinct convergence tendencies between masked/unmasked regions of the proposed learning strategy. Extensive experiments demonstrate that on average, the results of the proposed method are superior over the state-of-the-art method.

研究の動機と目的

• CASSIベースのハイパースペクトルイメージングにおける2つの主要なデータ損失、すなわちスペクトルチャンネルの混合と物理的コード化アパーチャーによるマスク領域のピクセル損失を解決すること。
• ハイパースペクトルデータに内在する空間的およびスペクトル的相関を活用することで、新規のトランスフォーマー・アーキテクチャを用いて再構成の忠実度を向上させること。
• 光学的マスキングによって引き起こされるピクセル単位の再構成難易度をモデル化し、テクスチャ由来の不確実性とは区別すること。
• 物理的イメージング原理に基づいた設計を根拠にすることで、HSI再構成のためのディープラーニングモデルの解釈可能性を高めること。

提案手法

• 2次元CASSI測定における混合されたスペクトル的および空間的情報を分離するために、並列的な空間的およびスペクトル的自己アテンション機構を備えたS²-Transformerを提案する。
• 物理的マスクパターンに基づいて、ネットワークの初期層での予測をペナルティ化するマスクエンコーディング（ME）損失項を導入する。
• 予測出力からピクセル単位の再構成難易度を動的に推定し、損失重みを高く設定することでマスク領域を優先する、マスク認識（MA）損失を提案する。
• 空間的およびスペクトル的アテンションを並列に処理し、特徴量の連結と残差接続によって相互作用する二重ブランチアーキテクチャを採用する。
• 初期学習段階の安定化とマスク領域における収束の向上を図るため、ME損失を用いた事前学習ステージを導入する。
• 理論的分析により、提案された損失戦略下で、マスク領域と非マスク領域における収束挙動が明確に異なることが示された。

実験結果

リサーチクエスチョン

• RQ1 2次元の圧縮測定におけるハイパースペクトルデータの特性をより効果的に活用するために、空間的およびスペクトル的アテンション機構をどのように統合的に設計できるか？
• RQ2 物理的マスキング由来のデータ不確実性をモデル化することで、標準的なL1/L2損失と比較して、再構成忠実度がどの程度向上するか？
• RQ3 予測の信頼度に応じて動的に調整されるマスク認識損失戦略は、マスク領域における収束性と性能向上に寄与するか？
• RQ4 空間的およびスペクトル的アテンションの相互作用は、モデルの表現能力および解釈可能性にどのように影響を与えるか？

主な発見

• 提案されたマスク認識学習を備えたS²-Transformerは、ベンチマークデータセット上でPSNR 36.48 dB、SSIM 0.9584を達成し、従来の最先端手法に比べてPSNRで0.17 dB、SSIMで0.0015向上した。
• アブレーションスタディにより、ME損失とMA損失の両方を組み合わせた場合に最良の性能が得られ、一方だけを用いる場合ではほとんどまたは改善が得られないことが確認された。
• マスク認識（MA）損失は、収束曲線および視覚的比較により、マスク領域における絶対再構成誤差を顕著に低減していることが示された。
• 視覚的結果から、マスク認識学習により、シミュレーションおよび実世界データの両方で、特にマスク領域においてテクスチャ回復と微細構造再構成が向上していることが明らかになった。
• 理論的および実験的分析により、提案された損失戦略が、非マスク領域と比較してマスク領域でより速くかつ安定した収束を実現することが確認された。
• 並列的な空間的・スペクトル的アテンション機構は、相関行列解析およびアテンション可視化の結果から、長距離のスペクトル的依存関係と空間的相関を効果的に捉えていることが示された。