[論文レビュー] DMDC: Dynamic-mask-based dual camera design for snapshot Hyperspectral Imaging

Zeyu Cai, Chengqian Jin+1 more|arXiv (Cornell University)|Aug 3, 2023

Photoacoustic and Ultrasonic Imaging被引用数 4

ひとこと要約

本稿では、RGBカメラとCASSIカメラを組み合わせた動的マスクベースのデュアルカメラシステムであるDMDCを提案する。RGBから得られる空間的プライアーオリティを用いてSLMマスクを動的に最適化し、クロスアテンションを用いたマルチモーダルデータ融合により、SOTAを大きく上回る9 dB以上のPSNR向上を達成するとともに、パラメータ数とFLOPsを著しく削減した。

ABSTRACT

Deep learning methods are developing rapidly in coded aperture snapshot spectral imaging (CASSI). The number of parameters and FLOPs of existing state-of-the-art methods (SOTA) continues to increase, but the reconstruction accuracy improves slowly. Current methods still face two problems: 1) The performance of the spatial light modulator (SLM) is not fully developed due to the limitation of fixed Mask coding. 2) The single input limits the network performance. In this paper we present a dynamic-mask-based dual camera system, which consists of an RGB camera and a CASSI system running in parallel. First, the system learns the spatial feature distribution of the scene based on the RGB images, then instructs the SLM to encode each scene, and finally sends both RGB and CASSI images to the network for reconstruction. We further designed the DMDC-net, which consists of two separate networks, a small-scale CNN-based dynamic mask network for dynamic adjustment of the mask and a multimodal reconstruction network for reconstruction using RGB and CASSI measurements. Extensive experiments on multiple datasets show that our method achieves more than 9 dB improvement in PSNR over the SOTA. (https://github.com/caizeyu1992/DMDC)

研究の動機と目的

• CASSIシステムにおける空間光変調器(SLM)の動的変調能力が固定マスク符号化により制限されることに対処する。
• RGBとCASSIの補完的測定を活用することで、ハイパースペクトル再構成における単一入力ネットワークの性能ボトルネックを克服する。
• RGB画像からの空間的プライアリティを統合し、動的SLM符号化をガイドすることで、再構成の忠実性と効率性を向上させる。
• カメラ応答に関する事前知識が不要なマルチモーダルで逆転可能なプライアリティに基づくネットワークアーキテクチャを構築し、スペクトルおよび空間特徴を効果的に統合する。
• 従来のTransformerベースの手法よりも計算コスト（パラメータ数とFLOPs）を低く抑えつつ、最先端の性能を達成する。

提案手法

• スナップショットで補完的測定を取得できる平行なRGBおよびCASSI光学路を有するデュアルカメラシステムを設計する。
• RGB画像特徴を用いてリアルタイムでSLM変調を最適化する動的マスクネットワークを実装し、シーンの内容に応じた符号化を最適化する。
• 小規模なCNNベースの動的マスクネットワークとマルチモーダル再構成ネットワークを有する二重ストリームアーキテクチャであるDMDC-Netを提案する。
• スペクトルおよび空間特徴間のクロスアテンション機構を統合し、両ドメインにおける局所的類似性とグローバル相関を活用する。
• 再構成ストリームにおけるロバストネスと特徴学習を向上させるために、ノイズ推定器と空間アテンションモジュールを埋め込む。
• 複雑なマッピングを残差学習に変換する逆転可能なプライアリティフレームワークを用い、反復的精錬と最適化の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 RGBプライアリティによってガイドされる動的マスク適応は、固定またはランダムマスクと比較して、CASSI再構成品質を顕著に向上させるか？
• RQ2 RGBとCASSI測定のマルチモーダル統合は、スナップショットハイパースペクトルイメージングにおける空間的・スペクトル的忠実度をどの程度向上させるか？
• RQ3 クロスアテンションと逆転可能なプライアリティ設計の統合は、モデルの複雑さを低減しつつ再構成性能をどのように向上させるか？
• RQ4 提案手法は、従来のTransformerベースのCASSI手法と比較して、顕著に低いFLOPsとパラメータ数でSOTA性能を達成できるか？
• RQ5 多様なシーンにおいて、動的マスク戦略は手動またはランダムマスク符号化と比較して、再構成精度とロバストネスの点で優れているか？

主な発見

• ARAD_1Kデータセットにおいて、DMDC-9stgは49.14 dBのPSNR、99.49%のSSIM、0.0357のMRAE、0.0038のRMSEを達成し、SOTA手法を著しく上回った。
• ARAD_1Kにおいて、λ-netに対して15.85 dB、TSA-netに対して14.32 dB、MST++に対して10.65 dBのPSNR向上を達成し、λ-netよりも7.86%高いSSIMを達成した。
• DMDC-1stgは、CST-Lに対して4.62 dB、MST++に対して5.13 dB高いPSNRを達成したが、パラメータ数は35.0%、FLOPsは83.8%にまで削減された。
• 動的マスク部は、RGB分岐と同等の性能向上貢献を示し、固定マスクと比較してMRAEを0.0245低下させた。
• ノイズ推定器はPSNRを0.80 dB向上させ、クロスアテンションはDMDC-1stgで1.00 dB、DMDC-3stgで0.74 dBの性能向上をもたらした。
• DMDC-5stgは12 FPSを超えるフレームレートで49 dB以上のPSNRを達成し、優れた精度を実現する高速再構成を示した。