[論文レビュー] Deep Gaussian Scale Mixture Prior for Spectral Compressive Imaging

Tao Huang, Weisheng Dong+3 more|arXiv (Cornell University)|Mar 12, 2021

Sparse and Compressive Sensing Techniques参考文献 48被引用数 7

ひとこと要約

本稿では、符号化アパーチャ・スナップショット分光撮影（CASSI）におけるハイパースペクトル画像（HSI）再構成のためのディープガウススケールミックス（DGSM）事前分布を提案する。最大後確度（MAP）推定フレームワーク内において、深層畳み込みニューラルネットワーク（DCNN）を用いてスケールおよび局所平均事前分布を学習する。本手法は、MAP推定器とDCNNパラメータをエンドツーエンドで同時に最適化することで、合成および実データの両方で最先端の性能を達成し、PSNRおよびSSIMにおいて既存手法を上回り、さまざまなマスクに対して頑健である。

ABSTRACT

In coded aperture snapshot spectral imaging (CASSI) system, the real-world hyperspectral image (HSI) can be reconstructed from the captured compressive image in a snapshot. Model-based HSI reconstruction methods employed hand-crafted priors to solve the reconstruction problem, but most of which achieved limited success due to the poor representation capability of these hand-crafted priors. Deep learning based methods learning the mappings between the compressive images and the HSIs directly achieved much better results. Yet, it is nontrivial to design a powerful deep network heuristically for achieving satisfied results. In this paper, we propose a novel HSI reconstruction method based on the Maximum a Posterior (MAP) estimation framework using learned Gaussian Scale Mixture (GSM) prior. Different from existing GSM models using hand-crafted scale priors (e.g., the Jeffrey's prior), we propose to learn the scale prior through a deep convolutional neural network (DCNN). Furthermore, we also propose to estimate the local means of the GSM models by the DCNN. All the parameters of the MAP estimation algorithm and the DCNN parameters are jointly optimized through end-to-end training. Extensive experimental results on both synthetic and real datasets demonstrate that the proposed method outperforms existing state-of-the-art methods. The code is available at https://see.xidian.edu.cn/faculty/wsdong/Projects/DGSM-SCI.htm.

研究の動機と目的

• モデルベースHSI再構成における手作業で設計された事前分布の限界を解消すること。これらは表現能力が弱いため、しばしば最適でない結果をもたらす。
• ディープラーニングベースHSI再構成におけるヒューリスティック設計の課題を克服すること。最適な性能を得るためには、広範なネットワーク設計の工夫が必要となる。
• 学習された事前分布を原理的で整合性のあるMAP推定設定に統合した解釈可能なHSI再構成フレームワークを開発すること。
• エンドツーエンド学習により測定行列Aとその転置Aᵀを同時に学習することで、変動する符号化アパーチャマスクに対する耐性を向上させること。

提案手法

• 空間的・スペクトル的相関を捉えるためにガウススケールミックス（GSM）モデルを用いた最大後確度（MAP）推定問題としてHSI再構成を定式化する。
• 従来の手作業で設計されたスケール事前分布（例：ジェフリーの事前分布）を、データからスケール事前分布を学習する深層畳み込みニューラルネットワーク（DCNN）に置き換える。
• GSMモデルの局所平均を、空間的・スペクトル的近傍ピクセルの重み付き平均として推定し、その重みは非局所自己類似性をモデル化するDCNNが予測する。
• 再構成忠実度を向上させるために、MAP推定器のすべてのパラメータとDCNNパラメータをエンドツーエンド学習スキームで同時に最適化する。
• 特徴の伝搬と勾配の流れを向上させるために、DCNNに密なスキップ接続を統合する。これにより表現学習が向上する。
• 5種類の異なるマスクを含む複合データセットを用いて1つの頑健なモデルを訓練し、マスク固有の再訓練の必要性を排除する。

Figure 1: A single shot measurement captured by [ 22 ] and 28 reconstructed spectral channels using our proposed method.

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、HSI再構成のためのガウススケールミックス（GSM）モデルにおけるスケール事前分布を効果的に学習可能か？ これにより、手作業で設計された事前分布を上回る性能が得られるか？
• RQ2 GSMモデルの局所平均は、学習可能な空間的・スペクトル的重み付き平均化機構を用いて効果的に推定可能か？ これにより再構成精度が向上するか？
• RQ3 MAP推定器とDCNNパラメータをエンドツーエンドで同時に最適化することで、ヒューリスティックなネットワーク設計に比べて優れた性能が得られるか？
• RQ4 5つのマスクを含む複合データセットで訓練された1つのモデルは、複数のマスクに一般化して効果的に機能するか？ これにより、実世界のCASSIシステムにおけるマスク固有の再訓練の必要性が低減されるか？

主な発見

• 11ビットのショットノイズを伴うCAVEデータセットにおいて、本手法はPSNR 32.63 dB、SSIM 0.9166を達成し、ベースライン手法を上回った。
• 実世界のSD-CASSIデータにおいて、本手法はTwIST、GAP-TV、DeSCI、TSA-Netと比較して、より優れたテクスチャの詳細とノイズ抑制を実現した。
• アブレーションスタディにより、フィルターサイズq=7を超えると利得が小さくなり、q=7が最適であると判明した。
• ステージ数Tを1から4に増加させることで性能が向上し、精度と計算コストのバランスを考慮してT=4が選択された。
• 密な接続の導入により、PSNRが2.11 dB、SSIMが0.0364向上し、特徴学習における有効性が実証された。
• 5つのマスクを含む複合データセットで訓練された1つのモデルは、TSA-NetおよびDNUで訓練された5つのマスク固有モデルを上回り、マスクの変動に対して頑健であることが証明された。

Figure 2: The imaging schematic of CASSI system.