[논문 리뷰] Hyperspectral-Multispectral Image Fusion with Weighted LASSO

Nguyen Tran, Rupali Mankar외 2명|arXiv (Cornell University)|2020. 03. 15.

Advanced Image Fusion Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 효율성을 높이기 위해 ADMM를 사용하고 재구성 품질을 향상시키기 위해 MAP 초기화를 활용한 가중치 LASSO 기반의 고분광-다중스펙트럼 영상 융합 방법을 제안한다. 기존 최고 수준의 방법들과 비교해 노이즈 감소, 스펙트럼 정밀도 및 계산 속도 면에서 뛰어난 성능을 보이며, 특히 고노이즈 및 블러 조건에서 뛰어난 성능을 발휘한다.

ABSTRACT

Spectral imaging enables spatially-resolved identification of materials in remote sensing, biomedicine, and astronomy. However, acquisition times require balancing spectral and spatial resolution with signal-to-noise. Hyperspectral imaging provides superior material specificity, while multispectral images are faster to collect at greater fidelity. We propose an approach for fusing hyperspectral and multispectral images to provide high-quality hyperspectral output. The proposed optimization leverages the least absolute shrinkage and selection operator (LASSO) to perform variable selection and regularization. Computational time is reduced by applying the alternating direction method of multipliers (ADMM), as well as initializing the fusion image by estimating it using maximum a posteriori (MAP) based on Hardie's method. We demonstrate that the proposed sparse fusion and reconstruction provides quantitatively superior results when compared to existing methods on publicly available images. Finally, we show how the proposed method can be practically applied in biomedical infrared spectroscopic microscopy.

연구 동기 및 목표

• 고분광 영상와 다중스펙트럼 영상에서 스펙트럼 해상도, 공간 해상도, 신호 대 노이즈 비율 간의 상충 관계를 해결하기 위해.
• 입력 영상에서 노이즈와 블러가 존재하더라도 고공간 해상도와 분자 특이성을 유지할 수 있는 강건한 융합 방법을 개발하기 위해.
• 효율적인 최적화 기법을 활용해 고정밀 재구성 유지와 함께 계산 비용을 감소시키기 위해.
• 특히 도전적인 촬영 조건에서 융합 영상의 스펙트럼 정밀도 향상과 노이즈 억제를 향상시키기 위해.
• 생물의학적 인프라레드 스펙트럼 현미경에서의 실용적 적용 가능성을 입증하기 위해.

제안 방법

• 이 방법은 고분광 영상(HSI)과 다중스펙트럼 영상(MSI)의 융합 영상와의 차이를 프로베니우스 노름을 사용해 최소화하는 가중치 LASSO 최적화 프레임워크를 활용한다.
• 융합 출력에서 노이즈를 감소시키고 희박성 조건을 강제하기 위해 LASSO를 통한 노름 규제를 적용한다.
• 최적화 문제를 분해하기 위해 교대 방향 승수법(ADMM)을 사용하여 계산 효율성을 크게 향상시킨다.
• 수렴 속도 향상과 정확도 향상을 위해 하드리의 방법 기반 최대사후확률(MAP) 추정치를 사용해 융합 영상을 초기화한다.
• HSI와 MSI 입력의 특성인 스펙트럼 샘플링, 공간 해상도, 노이즈 프로파일 등을 융합 모델에 통합한다.
• 다양한 노이즈 조건에서 여러 공개 데이터셋을 대상으로 PSNR, SAM, ERGAS, SSIM 등의 표준 융합 지표를 사용해 성능 평가를 수행한다.

실험 결과

연구 질문

• RQ1 LASSO 기반 최적화 프레임워크는 스펙트럼 정밀도와 공간 정밀도를 유지하면서 고분광 영상와 다중스펙트럼 영상을 효과적으로 융합할 수 있는가?
• RQ2 ADMM와 MAP 초기화의 통합은 계산 효율성과 재구성 품질을 어떻게 향상시키는가?
• RQ3 고노이즈 및 블러 조건에서 제안된 방법이 기존 최고 수준의 융합 기법들을 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 노이즈 분포(Gaussian 대 Poisson)는 융합 방법과 기준 방법의 성능에 어떤 영향을 미치는가?
• RQ5 실제 의학적 인프라레드 스펙트럼 현미경 촬영 조건에서 이 방법은 실용적으로 적용 가능한가?

주요 결과

• 제안된 방법은 융합 시간 354.2초, 알고리즘 시간 479.3초를 기록했으며, 이는 베이즈 스퍼스가 각각 2170.9초와 6976.9초를 소요한 것에 비해 뚜렷이 빠른 성능을 보였다.
• 포비아 센터 데이터셋에서 포isson 노이즈 조건에서 제안된 방법은 평균 SAM 3.25°를 기록했고, 베이즈 스퍼스는 6.46°를 기록하여 스펙트럼 정밀도 면에서 뛰어난 성능을 보였다.
• 가우시안 노이즈 조건에서 제안된 방법은 KSC 데이터셋에서 평균 6.2 dB의 PSNR 향상을 기록했으며, 인디언 파인스 및 살리나스 데이터셋에서는 각각 4 dB의 우수성을 확보했다.
• HSI가 포isson 노이즈에 의해 손상된 경우, 제안된 방법은 평균 PSNR 손실이 6.66 dB에 그쳤고, 베이즈 스퍼스는 1.86 dB에 그쳐 노이즈 유형에 대한 더 높은 내성성을 입증했다.
• 포비아 유니버시티 데이터셋에서 제안된 방법은 모든 SNR 수준에서 일관된 성능을 유지했으며, 50 dB SNR 조건에서 베이즈 스퍼스보다 4 dB의 PSNR 우수성을 확보했다.
• KSC 데이터셋(희박한 무늬를 가진 영상)에서도 제안된 방법은 성능 저하가 최소한이었으며, 다양한 데이터 유형에 대한 강력한 일반화 능력을 보였다.