[論文レビュー] Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging

Yuanhao Cai, Jing Lin+6 more|arXiv (Cornell University)|May 20, 2022

Sparse and Compressive Sensing Techniques被引用数 63

ひとこと要約

劣化を考慮した展開フレームワーク（DAUF）と新規 Half-Shuffle Transformer（HST）デノイザーを導入し、CASSIベースのHSI再構成のためのTransformerベースのディープ展開を実現。これにより、計算・メモリコストを抑えつつ最先端の性能を達成。

ABSTRACT

In coded aperture snapshot spectral compressive imaging (CASSI) systems, hyperspectral image (HSI) reconstruction methods are employed to recover the spatial-spectral signal from a compressed measurement. Among these algorithms, deep unfolding methods demonstrate promising performance but suffer from two issues. Firstly, they do not estimate the degradation patterns and ill-posedness degree from the highly related CASSI to guide the iterative learning. Secondly, they are mainly CNN-based, showing limitations in capturing long-range dependencies. In this paper, we propose a principled Degradation-Aware Unfolding Framework (DAUF) that estimates parameters from the compressed image and physical mask, and then uses these parameters to control each iteration. Moreover, we customize a novel Half-Shuffle Transformer (HST) that simultaneously captures local contents and non-local dependencies. By plugging HST into DAUF, we establish the first Transformer-based deep unfolding method, Degradation-Aware Unfolding Half-Shuffle Transformer (DAUHST), for HSI reconstruction. Experiments show that DAUHST significantly surpasses state-of-the-art methods while requiring cheaper computational and memory costs. Code and models will be released at https://github.com/caiyuanhao1998/MST

研究の動機と目的

• CASSI撮像におけるコーディッドアパーチャ・スナップショットスペクトルイメージングで、圧縮測定から劣化と不適定性を明示的に推定して、HSI再構成を改善する動機付け。
• 劣化を考慮したパラメータを用いて反復を適応させる原理的なMAPベースの展開フレームワーク（DAUF）を提案する。
• 局所的および非局所的依存性を捉える効率的なデノイザーとして新規のHalf-Shuffle Transformer（HST）を設計する。
• DAUFとHSTを統合してDAUHST法を形成し、最先端手法より優れた性能と効率を実証する。

提案手法

• CASSI劣化モデルをy = Φx + nとして定式化し、HSI再構成を事前分布R(x)を用いたMAP最適化として扱う。
• 半二次分割を適用してxとzをデカップリングし、ΦΦ^Tが対角であることを適応したSherman–Mittag–Wishart様の逆行列を用いたx更新を含む反復更新を導出する。
• 各ステージで線形射影とデノイング強度を調整する、yとΦから推定される反復ごとの劣化パラメータαとβを導入する。
• Half-Shuffle Transformer（HST）デノイザーを開発し、HS-MSAを用いて局所窓内自己注意とトークンシャッフリングによる非局所窓間相互作用を組み合わせ、全体のグローバル注意より低コストでグローバルに近い依存性を実現する。
• DAUFの各反復にHSTを組み込み、イメージングモデルに結びつく解釈性を保ちながらエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 圧縮されたCASSI測定から劣化パターンと不適定性の程度を推定して、反復再構成を導くことはできるか。
• RQ2 Transformerベースのデノイザーは、CASSI下のHSI再構成の深層展開においてCNNベースの事前分布を上回ることができるか。
• RQ3 劣化を考慮したパラメータ推定を取り入れることが、再構成品質と効率にどのような影響を与えるか。
• RQ4 Half-Shuffle Transformerは、このタスクにおいて標準的なグローバルまたは局所的Transformersと比較して、精度とコストのトレードオフに有利な特性を提供するか。

主な発見

• DAUHSTは、シミュレーションシーン全体で最先端の展開法を大幅に上回り、同等または低い計算コストでPSNR/SSIMの大幅な改善を達成する。
• 劣化を考慮したパラメータ推定器（E）は、各反復にCASSIシステムの劣化パターンを効果的に知らせ、線形射影とデノイズ強度の適応的スケーリングを導く。
• Half-Shuffle Transformer（HST）とHS-MSAは、局所的および非局所的依存性を他のMSAよりも適切に捉え、定量指標と視覚品質の両方で顕著な改善に寄与する。
• DAUHSTはノイズや実データ条件に対して強いロバスト性を示し、シミュレーションと実SCI実験の両方でより鮮明なHSIと豊かなスペクトル忠実度を提供する。