[論文レビュー] Self-supervised Neural Networks for Spectral Snapshot Compressive Imaging

Ziyi Meng, Zhenming Yu+2 more|arXiv (Cornell University)|Aug 28, 2021

Sparse and Compressive Sensing Techniques参考文献 54被引用数 6

ひとこと要約

本稿では、学習データを必要とせず、プラグアンドプレイ（PnP）最適化手法内に未学習の深層ニューラルネットワーク（DNN）を事前分布として用いる自己教師付きニューラルネットワークフレームワークを、スペクトルスナップショット圧縮撮影（SCI）再構成に提案する。この手法は、合成および実データセットの両方で競争力ある再構成品質を達成し、教師あり深層学習ベースラインと同等またはそれを上回る性能を示す。特に、事前に学習されたハイパースペクトルノイズ除去事前分布と組み合わせることで、現実的なノイズ条件下でも最先端の性能を示す。

ABSTRACT

We consider using {\bf\em untrained neural networks} to solve the reconstruction problem of snapshot compressive imaging (SCI), which uses a two-dimensional (2D) detector to capture a high-dimensional (usually 3D) data-cube in a compressed manner. Various SCI systems have been built in recent years to capture data such as high-speed videos, hyperspectral images, and the state-of-the-art reconstruction is obtained by the deep neural networks. However, most of these networks are trained in an end-to-end manner by a large amount of corpus with sometimes simulated ground truth, measurement pairs. In this paper, inspired by the untrained neural networks such as deep image priors (DIP) and deep decoders, we develop a framework by integrating DIP into the plug-and-play regime, leading to a self-supervised network for spectral SCI reconstruction. Extensive synthetic and real data results show that the proposed algorithm without training is capable of achieving competitive results to the training based networks. Furthermore, by integrating the proposed method with a pre-trained deep denoising prior, we have achieved state-of-the-art results. {Our code is available at \url{https://github.com/mengziyi64/CASSI-Self-Supervised}.}

研究の動機と目的

• 深層学習ベースのスペクトルSCI再構成に必要な十分な実世界の学習データの欠如により、未観測のシーンへの一般化が制限されることに対処する。
• 学習データに存在しないスペクトルに失敗する教師ありネットワークの限界を克服する。特にBirdデータセットのようなケースを想定する。
• ラベル付き学習データを一切必要としない、深層ニューラルネットワークの事前分布を活用する再構成フレームワークを開発する。
• スペクトルSCIシステムにおける現実の測定ノイズ、特にポissonノイズに対するロバスト性を向上させる。
• 提案された自己教師付き手法を事前に学習された深層ノイズ除去事前分布と統合することで、最先端の性能を達成する。

提案手法

• 自己教師付き学習を、圧縮測定値のみから可能にするために、プラグアンドプレイ（PnP）最適化フレームワークにディープ・イメージ・プライア（DIP）を統合する。
• 反復的PnPステップにおいて、ニューラルネットワークの重みと3次元データキューブ再構成を同時に最適化するために、交替方向スモールス法（ADMM）を用いる。
• 未学習のDNNが解空間を正則化する事前分布として機能する制約付き最適化問題として再構成を定式化する。
• 収束を加速させ、実データ実験における初期化を改善するために、全変動（TV）事前分布をウォームスタートとして適用する。
• PnP-DIPフレームワークに、ハイパースペクトル画像（HSI-DN）用に事前に学習された深層ノイズ除去ネットワークを統合し、共同再構成事前分布を構築することで性能を向上させる。
• ラベル付きデータを一切必要とせず、データセットごとにネットワークアーキテクチャとハイパーパrameterを微調整することで、ファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 未学習の深層ニューラルネットワークは、学習データが一切ない状況下でも、スペクトルSCI再構成の有効な事前分布として機能するか？
• RQ2 DIPをPnPフレームワークに統合することで、DIPの直接適用や教師ありネットワークと比較して、未観測のスペクトルデータに対する再構成品質が向上するか？
• RQ3 現実のSCI測定に一般的に見られるポissonノイズ条件下で、提案された自己教師付き手法はどの程度の性能を示すか？
• RQ4 事前に学習された深層ノイズ除去事前分布と組み合わせることで、自己教師付き手法の性能はさらに向上するか？
• RQ5 本手法は、学習データが限られているか全くない多様なスペクトルSCIシステムに対してもロバストであるか？

主な発見

• 提案された自己教師付きPnP-DIP手法は、合成および実データセットの両方で、TSA-Netなどの最先端の教師あり深層学習ネットワークと同等の再構成品質を達成する。
• 実CASSIデータ（例：Lego植物、イチゴ）では、TSA-NetやADMM-TVと比較して、アーティファクトが少なく、スペクトル曲線の精度が向上しており、特に選択領域のスペクトル曲線で顕著である。
• 24のスペクトルチャンネルを持つエンドミクロスコピー画像では、ADMM-TVやトレーニング済みDNNと比較して、より高い空間分解能とクリアなディテールを回復でき、より正確なスペクトルプロファイルを再現する。
• ポissonノイズに対して優れたロバスト性を示し、低SNR環境（例：25dB SNR）では、教師ありベースラインを上回り、より低い再構成誤差を維持する。
• 事前に学習されたHSIノイズ除去事前分布と組み合わせることで、学習データが全くない異なるSCIシステムからのデータセットを含め、すべてのテストデータセットで最先端の結果を達成する。
• 困難なデータセット（例：ドッグの嗅覚膜断面）に対しても、教師あり手法と比較してアーティファクトを低減する効果を示す。