[논문 리뷰] Hyperspectral Image Restoration via Total Variation Regularized Low-rank Tensor Decomposition

Yao Wang, Jiangjun Peng외 4명|arXiv (Cornell University)|2017. 07. 08.

Sparse and Compressive Sensing Techniques참고 문헌 1인용 수 11

한 줄 요약

이 논문은 저랭크 터널 분해와 공간-스펙트럼 총변동(SSTV) 정규화를 결합하여 청소된 HSI에서의 전반적인 상관관계와 조각별 연속성을 모델링하는 텐서 기반 고분광 영상(HSI) 복원 방법을 제안한다. 또한 ℓ₁ 및 프로베니우스 노름을 사용하여 희박한 노이즈와 가우시안 노이즈를 탐지한다. 이 방법은 시뮬레이션 및 실세계 노이즈가 있는 HSI에서 최신 기술을 능가하는 성능을 달성하며, 정량적 지표와 시각적 품질 양면에서 기존 방법을 능가한다.

ABSTRACT

Hyperspectral images (HSIs) are often corrupted by a mixture of several types of noise during the acquisition process, e.g., Gaussian noise, impulse noise, dead lines, stripes, and many others. Such complex noise could degrade the quality of the acquired HSIs, limiting the precision of the subsequent processing. In this paper, we present a novel tensor-based HSI restoration approach by fully identifying the intrinsic structures of the clean HSI part and the mixed noise part respectively. Specifically, for the clean HSI part, we use tensor Tucker decomposition to describe the global correlation among all bands, and an anisotropic spatial-spectral total variation (SSTV) regularization to characterize the piecewise smooth structure in both spatial and spectral domains. For the mixed noise part, we adopt the $\ell_1$ norm regularization to detect the sparse noise, including stripes, impulse noise, and dead pixels. Despite that TV regulariztion has the ability of removing Gaussian noise, the Frobenius norm term is further used to model heavy Gaussian noise for some real-world scenarios. Then, we develop an efficient algorithm for solving the resulting optimization problem by using the augmented Lagrange multiplier (ALM) method. Finally, extensive experiments on simulated and real-world noise HSIs are carried out to demonstrate the superiority of the proposed method over the existing state-of-the-art ones.

연구 동기 및 목표

• 가우시안, 인퓨전, 줄무늬, 고장난 픽셀 등의 혼합 노이즈 유형으로 인한 고분광 영상(HSI) 품질 저하 문제를 해결한다.
• 직접 텐서 모델링을 통해 HSI의 고차원 구조를 활용함으로써 매트릭스 기반 저랭크 모델의 한계를 극복한다.
• 공간-스펙트럼 영역에서의 전반적인 저랭크 구조와 이방성 SSTV 정규화를 통한 조각별 연속성의 동시 모델링.
• 희박한 노이즈를 위한 ℓ₁ 노름과 무거운 尾 꼬리 가우시안 노이즈를 위한 프로베니우스 노름을 통합하여 노이즈에 대한 강건성을 향상시킨다.
• 비볼록 텐서 기반 최적화 문제를 해결하기 위해 증강 라그랑주 승수(ALT) 방법을 사용한 효율적인 최적화 알고리즘 개발.

제안 방법

• 모든 밴드에 걸쳐 공간-스펙트럼 상관관계를 캡처하기 위해 청소된 HSI 부분을 텐서 터널 분해를 사용하여 모델링한다.
• 공간 및 스펙트럼 차원 양쪽에서 조각별 연속적인 구조를 유지하기 위해 이방성 공간-스펙트럼 총변동(SSTV) 정규화를 적용한다.
• 인퓨전 노이즈, 줄무늬, 고장난 픽셀 등의 희박한 노이즈 성분을 탐지하기 위해 ℓ₁ 노름 정규화를 사용한다.
• 무거운 꼬리 가우시안 노이즈를 모델링하기 위해 프로베니우스 노름 항목을 통합하여 실세계 상황에서의 강건성을 향상시킨다.
• 저랭크, 총변동, 희박한 노이즈 항목을 결합한 비볼록 최적화 문제를 제안하며, 적응형 정규화 파rameter를 포함한다.
• 효율성과 수렴성을 확보하기 위해 교차 최소화 기반의 증강 라그랑주 승수(ALT) 알고리즘을 사용하여 최적화 문제를 해결한다.

실험 결과

연구 질문

• RQ1 혼잡한 HSI에서 세밀한 공간-스펙트럼 구조를 유지하는 데 있어, 텐서 기반 저랭크 모델링이 매트릭스 기반 저랭크 접근보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 터널 분해와 공간-스펙트럼 총변동(SSTV)의 조합이 청소된 HSI 성분에서 전반적인 상관관계와 국소적 연속성을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 ℓ₁ 및 프로베니우스 노름을 동시에 통합함으로써 혼합 노이즈 조건에서 HSI 복원의 강건성이 얼마나 향상되는가?
• RQ4 특히 SSTV 가중치와 스펙트럼 랭크에 대한 정규화 파rameter의 선택에 따라 성능이 얼마나 민감하게 영향을 받는가?
• RQ5 제안된 ALT 기반 알고리즘이 다양한 시뮬레이션 및 실세계 HSI 노이즈 시나리오에서 신뢰성 있게 수렴하는가?

주요 결과

• 제안된 방법은 시뮬레이션 및 실세계 HSI 데이터에서 최신 기술 대비 정량적 지표와 시각적 품질 양면에서 뛰어난 성능을 달성한다.
• 노이즈 수준이 다양할 때도 안정적인 성능을 보이며, HySime 기반 추정을 통해 스펙트럼 랭크를 10으로 설정했을 때 최적의 결과를 얻었다.
• LRTDTV 솔버는 MPSNR 및 MSSIM 값이 충분한 반복 후 안정화됨으로써 신뢰성 있는 수렴을 보이며 알고리즘의 강건성을 확인한다.
• 스펙트럼 TV(SSTV)의 가중치는 성능에 큰 영향을 미치며, 적절히 조정된 경우 최적의 결과를 얻을 수 있음을 보여주며, 스펙트럼 구조 모델링의 중요성을 강조한다.
• HYDICE Urban 데이터에서의 시각적 및 정량적 비교를 통해, 특히 심하게 손상된 밴드에서 LRTV 및 기타 매트릭스 기반 접근보다 뛰어난 성능을 보였다.
• 민감도 분석을 통해 다양한 노이즈 수준에서 일관된 성능을 보이며 안정성을 확보하는 데 λ = 10의 정규화 파rameter가 유의미한 것으로 확인되었다.