[論文レビュー] Fast Hyperspectral Image Recovery via Non-iterative Fusion of Dual-Camera Compressive Hyperspectral Imaging

Wei He, Naoto Yokoya+1 more|arXiv (Cornell University)|Dec 30, 2020

Advanced Image Fusion Techniques参考文献 46被引用数 6

ひとこと要約

本稿では、二重カメラ圧縮ハイパースペクトルイメージングを用いて、スペクトルの低ランク性を活用することで、CASSIとRGB測定値を統合する反復処理を要しない高速なハイパースペクトル画像（HSI）再構成手法を提案する。RGBデータにより空間係数が推定され、CASSIデータにより直交スペクトル基底が回復される。従来の反復的手法よりも5,000倍以上高速であり、スペクトルセンシング行列や非局所処理を必要としない。

ABSTRACT

Coded aperture snapshot spectral imaging (CASSI) is a promising technique to capture the three-dimensional hyperspectral image (HSI) using a single coded two-dimensional (2D) measurement, in which algorithms are used to perform the inverse problem. Due to the ill-posed nature, various regularizers have been exploited to reconstruct the 3D data from the 2D measurement. Unfortunately, the accuracy and computational complexity are unsatisfied. One feasible solution is to utilize additional information such as the RGB measurement in CASSI. Considering the combined CASSI and RGB measurement, in this paper, we propose a new fusion model for the HSI reconstruction. We investigate the spectral low-rank property of HSI composed of a spectral basis and spatial coefficients. Specifically, the RGB measurement is utilized to estimate the coefficients, meanwhile the CASSI measurement is adopted to provide the orthogonal spectral basis. We further propose a patch processing strategy to enhance the spectral low-rank property of HSI. The proposed model neither requires non-local processing or iteration, nor the spectral sensing matrix of the RGB detector. Extensive experiments on both simulated and real HSI dataset demonstrate that our proposed method outperforms previous state-of-the-art not only in quality but also speeds up the reconstruction more than 5000 times.

研究の動機と目的

• 圧縮ハイパースペクトルイメージング（CASSI）における従来の反復的手法の高い計算コストと限られた精度を改善すること。
• 計算複雑度を増加させることなく、相補的なRGBおよびCASSI測定値を活用して再構成品質を向上させること。
• 事前計算されたスペクトルセンシング行列や非局所正則化に依存しない、非反復的で柔軟かつ効率的なアルゴリズムを開発すること。
• HSIのスペクトル低ランク構造を活用し、RGBから得られる空間係数とCASSIから得られる直交スペクトル基底に分解すること。
• 最先端手法と同等またはそれ以上の再構成忠実度を維持しながら、HSI回復を著しく高速化すること。

提案手法

• 本手法は、スペクトル低ランク性を活用してHSIを直交スペクトル基底行列Eと空間係数行列Wの積に分解する。
• 空間係数Wは、反復最適化を回避するため、線形モデルを用いてRGB測定値から直接推定する。
• 直交スペクトル基底Eは、過剰決定系に対する非反復的最小二乗解を用いてCASSI測定値から回復する。
• 空間係数の低ランク構造を強化するために、ピクセル群ごとの処理戦略を適用し、再構成精度を向上させる。
• 反復的精練や非局所処理を一切行わず、RGBから得た係数とCASSIから得た基底を統合する融合モデルを構築する。
• RGB検出器のスペクトルセンシング行列の事前知識を必要としないため、柔軟性が向上し、仮定が減少する。

実験結果

リサーチクエスチョン

• RQ1 反復処理を要しないCASSIとRGB測定値の統合は、反復的手法よりも高速かつ高精度なHSI再構成を達成できるか？
• RQ2 異なるセンサーからの二重測定を用いて、HSIのスペクトル低ランク構造を効果的に活用できるか？
• RQ3 非局所的または反復的正則化の計算負荷を排除しつつ、高い再構成品質を維持できるか？
• RQ4 提案手法は、シミュレート済みおよび実データの両方において、最先端手法を速度と精度の両面で上回るか？
• RQ5 RGBとCASSIデータの統合を、RGBセンサーのスペクトルセンシング行列を必要とせずに効率的に行えるか？

主な発見

• CAVEデータセットにおいて、提案手法PFusionは平均PSNRが43.46 dBを達成し、次に優れた手法（Improved）の0.04 dBを上回った。
• ICVLデータセットでは、PFusionは平均SSIMが0.995を記録し、Improved手法（0.995）と同等であり、実行時間は1.8秒であった。
• RSデータセットでは、PFusionは平均MSAが0.81を記録し、Improved手法（0.85）よりも顕著に低く、より優れたスペクトル忠実度を示した。
• CAVEデータセットにおいて、本手法は1.8秒でHSIを再構成し、DLTR手法（52,585秒）の5,000倍以上高速であった。
• 非局所低ランク手法（DeSCI-RGBやDLTR）と比較して、5,000倍の高速化を達成しながら、再構成品質を維持または向上させた。
• 本手法は、RGB検出器のスペクトルセンシング行列を必要としないため、仮定が減少し、実用性が向上した。