[논문 리뷰] Fast Hyperspectral Image Recovery via Non-iterative Fusion of Dual-Camera Compressive Hyperspectral Imaging

Wei He, Naoto Yokoya외 1명|arXiv (Cornell University)|2020. 12. 30.

Advanced Image Fusion Techniques참고 문헌 46인용 수 6

한 줄 요약

이 논문은 이중 카메라 압축형 고스펙트럼 영상(_HSIs_)을 이용한 비반복적이고 빠른 고스펙트럼 영상(HSI) 복원 방법을 제안한다. 스펙트럼 저질서 특성을 활용하여 CASSI와 RGB 측정치를 융합함으로써, RGB 데이터는 공간 계수를 추정하고, CASSI 데이터는 정규직교 스펙트럼 기저를 복원한다. 이 방법은 이전의 반복적 방법보다 5,000배 이상 빠르며, 스펙트럼 감지 행렬이나 비국소 처리를 필요로 하지 않아 최신 기술 수준의 복원 품질을 달성한다.

ABSTRACT

Coded aperture snapshot spectral imaging (CASSI) is a promising technique to capture the three-dimensional hyperspectral image (HSI) using a single coded two-dimensional (2D) measurement, in which algorithms are used to perform the inverse problem. Due to the ill-posed nature, various regularizers have been exploited to reconstruct the 3D data from the 2D measurement. Unfortunately, the accuracy and computational complexity are unsatisfied. One feasible solution is to utilize additional information such as the RGB measurement in CASSI. Considering the combined CASSI and RGB measurement, in this paper, we propose a new fusion model for the HSI reconstruction. We investigate the spectral low-rank property of HSI composed of a spectral basis and spatial coefficients. Specifically, the RGB measurement is utilized to estimate the coefficients, meanwhile the CASSI measurement is adopted to provide the orthogonal spectral basis. We further propose a patch processing strategy to enhance the spectral low-rank property of HSI. The proposed model neither requires non-local processing or iteration, nor the spectral sensing matrix of the RGB detector. Extensive experiments on both simulated and real HSI dataset demonstrate that our proposed method outperforms previous state-of-the-art not only in quality but also speeds up the reconstruction more than 5000 times.

연구 동기 및 목표

• 압축형 고스펙트럼 영상(CASSI)을 위한 기존 반복적 복원 방법의 높은 계산 비용과 제한된 정확도 문제를 해결하기 위해.
• 계산 복잡도를 증가시키지 않고 서로 보완적인 RGB 및 CASSI 측정치를 활용하여 복원 품질을 향상시키기 위해.
• 사전에 계산된 스펙트럼 감지 행렬이나 비국소 정규화에 의존하지 않는 비반복적이고 유연하며 효율적인 알고리즘을 개발하기 위해.
• HSI의 스펙트럼 저질서 구조를 활용하여, RGB로부터 유도된 공간 계수와 CASSI로부터 유도된 정규직교 스펙트럼 기저로 분해함으로써 복원 성능을 향상시키기 위해.
• 최신 기술 수준의 방법과 비교해 복원 정밀도를 유지하거나 향상시키면서도 HSI 복원 속도를 크게 향상시키기 위해.

제안 방법

• 이 방법은 HSI를 정규직교 스펙트럼 기저 행렬 E와 공간 계수 행렬 W의 곱으로 분해함으로써 스펙트럼 저질서 특성을 활용한다.
• 공간 계수 W는 반복 최적화를 피하기 위해 선형 모델을 사용해 RGB 측정치로부터 직접 추정한다.
• 정규직교 스펙트럼 기저 E는 과잉정의된 선형 시스템에 대한 비반복 최소제곱 해를 통해 CASSI 측정치로부터 복원된다.
• 공간 계수의 저질서 구조를 향상시키기 위해 패치 기반 처리 전략을 적용하여 복원 정확도를 향상시킨다.
• 반복적 보정이나 비국소 처리 없이 RGB로부터 유도된 계수와 CASSI로부터 유도된 기저를 융합하는 모델을 구성한다.
• RGB 검출기의 스펙트럼 감지 행렬에 대한 사전 지식이 필요하지 않아, 더 높은 유연성과 더 적은 가정을 확보한다.

실험 결과

연구 질문

• RQ1 비반복적 CASSI와 RGB 측정치 융합이 반복적 방법보다 더 빠르고 정확한 HSI 복원을 가능하게 할 수 있는가?
• RQ2 다른 센서에서 유도된 이중 측정치를 활용해 HSI의 스펙트럼 저질서 구조를 효과적으로 활용할 수 있는가?
• RQ3 비국소 또는 반복 정규화의 계산 부담을 제거하면서도 높은 복원 품질을 유지할 수 있는가?
• RQ4 제안된 방법은 시뮬레이션 및 실제 데이터셋 모두에서 최신 기술 수준의 방법보다 속도와 정확도 면에서 뛰어나게 성능을 발휘하는가?
• RQ5 RGB 및 CASSI 데이터의 융합을 수행할 때 RGB 센서의 스펙트럼 감지 행렬을 요구하지 않을 수 있는가?

주요 결과

• CAVE 데이터셋에서 제안된 PFusion 방법은 평균 PSNR 43.46 dB를 기록하여 다음으로 우수한 방법(Improved)보다 0.04 dB 높은 성능을 보였다.
• ICVL 데이터셋에서 PFusion은 평균 SSIM 0.995를 기록하여 Improved 방법(0.995)과 비슷한 성능을 보였으며, 실행 시간은 1.8초였다.
• RS 데이터셋에서 PFusion은 평균 MSA 0.81을 기록하여 Improved 방법(0.85)보다 유의미하게 낮아, 더 뛰어난 스펙트럼 정밀도를 확보했다.
• CAVE 데이터셋에서 PFusion은 HSI를 1.8초 내에 복원했으며, DLTR 방법(52,585초)보다 5,000배 이상 빠르게 수행했다.
• 비국소 저질서 방법인 DeSCI-RGB 및 DLTR와 비교해도 5,000배의 속도 향상을 달성했으며, 복원 품질은 유지하거나 향상시켰다.
• 제안된 방법은 RGB 검출기의 스펙트럼 감지 행렬이 필요로 하지 않아, 가정을 줄이고 실용성을 높였다.