[논문 리뷰] Super-resolution reconstruction of hyperspectral images via low rank tensor modeling and total variation regularization

Shiying He, Haiwei Zhou외 3명|arXiv (Cornell University)|2016. 01. 23.

Advanced Image Fusion Techniques참고 문헌 2인용 수 3

한 줄 요약

이 논문은 저랭크 텐서 모델링과 3D 총 변동성 정규화를 사용하여 고분광 영상의 초해상도를 향상시키는 방법을 제안한다. 이는 전반적인 공간-스펙트럼 상관관계와 局소적인 부드러움을 활용하기 위해 고안되었다. 저랭크 근사에 텐서 핵노름과 접합-凸형(MCP) 페널티를 조합하고, 희박성에 대해 3D TV를 사용하며, LLA-ADMM를 통해 최적화를 해결함으로써, AVIRIS 데이터에서 PSNR, SAM, ERGAS 지표에서 핵노름보다 MCP가 뛰어난 성능을 보이며 뛰어난 재구성 품질을 달성한다.

ABSTRACT

In this paper, we propose a novel approach to hyperspectral image super-resolution by modeling the global spatial-and-spectral correlation and local smoothness properties over hyperspectral images. Specifically, we utilize the tensor nuclear norm and tensor folded-concave penalty functions to describe the global spatial-and-spectral correlation hidden in hyperspectral images, and 3D total variation (TV) to characterize the local spatial-and-spectral smoothness across all hyperspectral bands. Then, we develop an efficient algorithm for solving the resulting optimization problem by combing the local linear approximation (LLA) strategy and alternative direction method of multipliers (ADMM). Experimental results on one hyperspectral image dataset illustrate the merits of the proposed approach.

연구 동기 및 목표

• 하드웨어 및 SNR 제약로 인한 저해상도 문제를 해결하기 위해 고분광 영상(HSIs)의 낮은 공간 해상도에 도전한다.
• 보조 고해상도 영상이 필요 없이 단일 저해상도(LR) 관측값으로부터 고해상도(HR) HSIs를 재구성한다.
• 텐서 기반 저랭크 제약 조건을 통해 전역적인 공간-스펙트럼 상관관계를 모델링한다.
• 3D 총 변동성 정규화를 통해 국소적인 공간-스펙트럼 부드러움을 캡처한다.
• 비볼록이고 구조화된 정규화 문제를 해결하기 위한 효율적인 최적화 프레임워크를 개발한다.

제안 방법

• 다중 모odal 구조를 유지하기 위해 고분광 영상을 너비, 높이, 스펙트럼 대역 수를 가진 3D 텐서로 모델링한다.
• 모든 세 모드를 통해 저랭크 구조를 강제하기 위해 텐서 핵노름과 접합-凸형(MCP) 페널티를 적용하여 전역적인 공간-스펙트럼 상관관계를 포착한다.
• 이웃하는 볼륨 간 절대 차이의 합으로 정의된 3D 총 변동성(TV) 정규화를 사용하여 공간 및 스펙트럼 차원에서 국소적 부드러움을 촉진한다.
• 초해상도 문제를 제약 최적화로 공식화한다: 데이터 적합도(LSQ)와 정규화 항의 합을 최소화하며, 핵노름과 MCP는 저랭크를, 3D TV는 희박성을 위한 것으로 설정한다.
• 비볼록 MCP 페널티를 다루기 위해 국소 선형 근사(LLL)와 결합한 분할된 승수법(ADMM) 프레임워크를 사용하여 비볼록 최적화를 해결한다.
• 문제를 하위 문제로 분해한다: 고해상도 텐서를 갱신하고, 단일값 임계처리(핵노름의 경우) 또는 가중 단일값 부드러운 임계처리(MCP의 경우)를 통해 저랭크를 강제하며, 이중 변수를 갱신한다.

실험 결과

연구 질문

• RQ1 저랭크 텐서 모델링은 초해상도를 위한 고분광 영상에서 전역적인 공간-스펙트럼 상관관계를 효과적으로 포착할 수 있는가?
• RQ2 3D 총 변동성 정규화를 통합함으로써 국소적 부드러움을 향상시키고 재구성된 HSIs의 미세한 공간 세부 정보를 유지할 수 있는가?
• RQ3 저랭크 구조를 모델링할 때 접합-凸형 MCP 페널티는 볼록 핵노름보다 우월한가?
• RQ4 LLA-ADMM 프레임워크는 혼합 텐서 노름과 3D TV를 포함한 비볼록 최적화 문제를 효율적으로 해결할 수 있는가?
• RQ5 제안된 방법은 시각적 품질과 정량적 지표 모두에서 기존의 보간법 및 최신 기술보다 뛰어나게 성능을 발휘하는가?

주요 결과

• AVIRIS 데이터셋에서 MCP 페널티를 적용한 제안된 방법이 최고의 PSNR 37.8732를 기록하였으며, 이는 이중선형(33.0236), NARM(33.1197), 희박 표현(35.7409)을 크게 앞서는 성능이다.
• MCP 기반 방법은 가장 낮은 SAM(0.0720)과 ERGAS(88.5562)를 기록하여 뛰어난 스펙트럼 유지성과 낮은 전반적 재구성 오차를 보였다.
• 접합-凸형 페널티(MCP)는 모든 지표에서 볼록 핵노름을 뛰어넘었으며, 저랭크 근사에서의 모델링 편향을 감소시킴을 입증하였다.
• 시각적 결과에서는 제안된 방법이 이중선형 및 기타 경쟁 방법에 비해 미세한 공간 세부 정보와 에지 정보를 더 잘 유지하고 있음을 확인했으며, 특히 밴드 100에서 두드러진다.
• LLA-ADMM 알고리즘은 안정적이고 효율적으로 수렴하여 비볼록 정규화를 텐서 기반 HSI 초해상도 재구성에 실용적으로 적용할 수 있도록 하였다.
• 텐서 핵노름과 3D TV 정규화의 조합은 단일 정규화 기반 방법보다 향상된 재구성 품질을 제공한다.