[論文レビュー] A Fast Alternating Minimization Algorithm for Coded Aperture Snapshot Spectral Imaging Based on Sparsity and Deep Image Priors

Qile Zhao, Xianhong Zhao+3 more|arXiv (Cornell University)|Jun 12, 2022

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、スパarsityとディープ・イメージ・プライア（DIP）を活用して、学習データを一切必要とせずにハイパースペクトル画像（HSI）を再構成する、符号化アパーチャ・スナップショットスペトロスコピー（CASSI）のための高速な交互最小化アルゴリズム、Fama-SDIPを提案する。スパarsityとDIPを組み合わせた圧縮センシングにおけるスプリット・ブリッジマンフレームワークを用いることで、11分未満で最先端の再構成品質を達成し、シミュレーションおよび実世界の実験において、既存の教師ありおよび教師なし手法を著しく上回る性能を発揮する。

ABSTRACT

Coded aperture snapshot spectral imaging (CASSI) is a technique used to reconstruct three-dimensional hyperspectral images (HSIs) from one or several two-dimensional projection measurements. However, fewer projection measurements or more spectral channels leads to a severly ill-posed problem, in which case regularization methods have to be applied. In order to significantly improve the accuracy of reconstruction, this paper proposes a fast alternating minimization algorithm based on the sparsity and deep image priors (Fama-SDIP) of natural images. By integrating deep image prior (DIP) into the principle of compressive sensing (CS) reconstruction, the proposed algorithm can achieve state-of-the-art results without any training dataset. Extensive experiments show that Fama-SDIP method significantly outperforms prevailing leading methods on simulation and real HSI datasets.

研究の動機と目的

• 少ない測定値や高スペクトルチャンネル数を用いた場合に生じるCASSI再構成の不適切な定式化を解決すること。
• 大規模なトレーニングデータセットを必要としない再構成アルゴリズムの開発により、教師ありディープラーニング手法の限界を克服すること。
• スパarsityの事前知識とディープ・イメージ・プライア（DIP）を効果的に統合することで、再構成の正確性と速度を向上させること。
• 一貫した統合フレームワークを用いて、シミュレーションおよび実世界のCASSI実験の両方で最先端の性能を達成すること。

提案手法

• 本手法は、スパarsityとDIP正則化を用いた圧縮センシングの原則に基づき、CASSI再構成を制約付き最適化問題として定式化する。
• スプリット・ブリッジマン法を用いて、データ適合項の最小化とスパarsityおよびDIP制約の強制を交互に実行する。
• ディープ・イメージ・プライアは、トレーニングではなく最適化を通じて画像事前知識を暗黙的に学習する生成的ニューラルネットワークによって実装される。
• スパarsityは、エッジを保持しノイズを低減するために、ハイパースペクトルキューブに3次元Total Variation（TV）ノルムを用いて強制する。
• 収束を高速化するために、スパarsityに基づく再構成からのウォームスタートを採用する。
• 交互最小化スキームは、スプリット・ブリッジマンフレームワーク内のHSI推定値と補助変数の更新を交互に繰り返す。

実験結果

リサーチクエスチョン

• RQ1 スパarsityとディープ・イメージ・プライアを統合したトレーニングフリーの手法が、CASSIにおけるHSI再構成性能を優れて達成できるか？
• RQ2 提案されたFama-SDIPアルゴリズムは、教師ありおよび教師なしのベースラインと比較して、再構成品質と速度の両面でどのように差をつけるか？
• RQ3 DIPとスパarsity事前知識の統合が、ラベル付きデータを必要とせずに、不適切なCASSI逆問題を効果的に正則化できるか？
• RQ4 本手法は、低信号条件や実世界の測定ノイズ下でも、高いスペクトル正確性と空間分解能を維持できるか？

主な発見

• Fama-SDIPは、シミュレーションおよび実際のCASSIデータセットの両方で最先端の性能を達成し、GPSR、TwIST、GAP-TV、PnP-DIP、DGSMPを著しく上回るPSNRおよびSSIMを達成した。
• 18のスペクトルチャンネルと512×512の空間解像度を持つ実データにおいて、Fama-SDIPはすべての比較手法と比較して、より鋭いエッジとより少ないアーティファクトを生成した。
• Fama-SDIPはわずか10.75分でHSIを再構成でき、PnP-DIP（115.63分）と比較して10倍以上の高速化を達成しながら、より優れた結果をもたらした。
• 選択領域における参照スペクトルとの相関係数r > 0.98を達成し、優れたスペクトル忠実度を示した。
• 実世界の条件下でも安定性を示し、ドメインシフトの影響によりPnP-HSIはGAP-TVでさえも下回る性能を示したが、Fama-SDIPはそれを上回った。
• スパarsityに基づくウォームスタートの使用により、交互最小化プロセスの収束が高速化され、安定性が向上した。