[논문 리뷰] Hyperspectral Super-Resolution via Coupled Tensor Ring Factorization

Wei He, Yong Chen외 3명|arXiv (Cornell University)|2020. 01. 06.

Advanced Image Fusion Techniques참고 문헌 48인용 수 7

한 줄 요약

이 논문은 저해상도 고분광 영상(HSI)과 고해상도 다중스펙트럼 영상(MSI) 입력에서 고해상도 고분광 영상(HR-HSI)을 동시에 재구성하기 위해 쌍방향 텐서 링 분해를 활용한 결합된 텐서 링 분해(CTRF) 모델을 제안한다. 스펙트럼 및 공간 차원에서의 저랭크 특성을 활용하고 스펙트럼 노름 정규화를 도입함으로써, 학습 데이터가 필요 없이도 기존의 행렬/텐서 방법 및 딥러닝 모델을 능가하는 최신 기술 수준의 성능을 달성한다. 정량적 및 시각적 평가에서 뛰어난 성능을 보였다.

ABSTRACT

Hyperspectral super-resolution (HSR) fuses a low-resolution hyperspectral image (HSI) and a high-resolution multispectral image (MSI) to obtain a high-resolution HSI (HR-HSI). In this paper, we propose a new model, named coupled tensor ring factorization (CTRF), for HSR. The proposed CTRF approach simultaneously learns high spectral resolution core tensor from the HSI and high spatial resolution core tensors from the MSI, and reconstructs the HR-HSI via tensor ring (TR) representation (Figure~ ef{fig:framework}). The CTRF model can separately exploit the low-rank property of each class (Section ef{sec:analysis}), which has been never explored in the previous coupled tensor model. Meanwhile, it inherits the simple representation of coupled matrix/CP factorization and flexible low-rank exploration of coupled Tucker factorization. Guided by Theorem~ ef{th:1}, we further propose a spectral nuclear norm regularization to explore the global spectral low-rank property. The experiments have demonstrated the advantage of the proposed nuclear norm regularized CTRF (NCTRF) as compared to previous matrix/tensor and deep learning methods.

연구 동기 및 목표

• 학습 데이터가 필요 없이 저해상도 고분광 영상(HSI)과 고해상도 다중스펙트럼 영상(MSI)으로부터 고해상도 고분광 영상(HR-HSI)을 생성하는 문제에 대응하기 위해.
• 기존의 행렬 및 텐서 분해 모델이 HSI에서 공간-스펙트럼 상관관계와 저랭크 구조를 충분히 활용하지 못하는 한계를 극복하기 위해.
• 스펙트럼과 공간의 저랭크 특성을 별도로 모델링하기 위해 텐서 링 분해를 활용한 새로운 결합된 텐서 링 분해(CTRF) 모델을 개발하기 위해.
• 고해상도 고분광 영상(HR-HSI)의 전반적인 스펙트럼 저랭크 특성을 활용하기 위해 세 번째 TR 코어에 스펙트럼 노름 정규화를 도입하여 재구성 정확도를 향상시키기 위해.
• CTRF 및 핵심 노름 정규화가 적용된 NCTRF 모델을 위한 효율적인 교대 최적화 알고리즘을 제공하여 실용적 적용 가능성을 확보하기 위해.

제안 방법

• 이 방법은 고해상도 고분광 영상(HR-HSI)과 다중스펙트럼 영상(MSI)을 일련의 3차원 코어 텐서로 분해하기 위해 텐서 링(TR) 분해를 사용하여 차원 간의 민감한 저랭크 모델링을 가능하게 한다.
• 저해상도 고분광 영상(HSI)에서 고스펙트럼 해상도 코어 텐서를 동시에 학습하고 고해상도 다중스펙트럼 영상(MSI)에서 고공간 해상도 코어 텐서를 추출하기 위해 쌍방향 텐서 링 분해(CTRF) 모델을 제안한다.
• HSI와 MSI 각각에 독립적으로 TR 분해를 적용하여 다양한 HSI 클래스의 저랭크 특성을 활용함으로써 표현의 정밀도를 향상시킨다.
• 고해상도 고분광 영상(HR-HSI)의 전반적인 스펙트럼 저랭크 구조를 유 bounds하기 위해, 정리 2에 의해 증명된 바와 같이, 모드-2 전개된 세 번째 TR 코어 텐서에 새로운 스펙트럼 노름 정규화를 적용한다.
• 수렴성과 계산 효율성을 보장하기 위해 CTRF 및 NCTRF 모델을 최적화하기 위한 효율적인 교대 반복 알고리즘을 개발한다.
• 고해상도 코어 텐서를 텐서 링 곱 연산을 통해 재조합함으로써 고해상도 고분광 영상(HR-HSI)을 재구성한다.

실험 결과

연구 질문

• RQ1 쌍방향 텐서 링 분해 모델은 고분광 초해상도에서 공간 및 스펙트럼 저랭크 구조를 효과적으로 활용할 수 있는가?
• RQ2 제안된 세 번째 TR 코어에 대한 핵심 노름 정규화는 고해상도 고분광 영상 재구성에서 전반적인 스펙트럼 저랭크 특성의 활용을 어떻게 향상시키는가?
• RQ3 CTRF 기반 방법은 학습 데이터가 필요 없는 경우 기존의 행렬/텐서 분해 및 딥러닝 모델보다 우수한 성능을 내는가?
• RQ4 기준 데이터셋에서 PSNR, RMSE, SSIM 측정 기준으로 제안된 방법이 최신 기술 수준의 방법보다 더 높은 재구성 품질을 달성할 수 있는가?
• RQ5 특히 참조값과 비교할 때, 시각적으로 모델은 미세한 공간적 및 스펙트럼 세부 정보를 얼마나 잘 유지하는가?

주요 결과

• 제안된 NCTRF 방법은 CAVE Balloons 데이터셋에서 PSNR 41.51 dB를 기록하여 이어지는 최고 성능 기록인 MHF-net(40.49 dB)과 uSDN(37.78 dB)을 능가했다.
• CAVE Toy 데이터셋에서 NCTRF는 PSNR 38.42 dB를 기록하여 MHF-net(36.10 dB)과 uSDN(33.94 dB)을 뛰어넘었으며, 뛰어난 정량적 성능을 입증했다.
• NCTRF 방법은 CAVE Balloons에서 RMSE 2.49, CAVE Toy에서 RMSE 3.88을 기록하여 경쟁 방법보다 더 높은 재구성 정확도를 보였다.
• 그림 7의 시각적 비교에서 NCTRF는 차이 영상이 0에 가장 가까운 결과를 생성하여 오차가 최소화되고 공간적 및 스펙트럼 세부 정보가 뛰어나게 유지됨을 나타냈다.
• 대부분의 기준 모델보다 높은 SSIM 값(바이로니스에서 0.979, 토이에서 0.944)을 기록하여 참조값과의 구조 유사성이 뛰어나다는 것을 확인했다.
• NCTRF 모델은 학습 데이터가 전혀 필요 없이 딥러닝 모델인 MHF-net과 uSDN을 능가함으로써, 실세계의 비지도 응용에서의 장점을 입증했다.