[논문 리뷰] Spatio-Spectral Structure Tensor Total Variation for Hyperspectral Image Denoising and Destriping

Shingo Takemoto, Naganuma, Kazuki외 1명|arXiv (Cornell University)|2024. 04. 04.

Image and Signal Denoising Methods인용 수 15

한 줄 요약

이 논문은 이차 순서의 시공간 구조 텐서의 노름을 이용해 국소적 공간적 구조와 스펙트럼 상관관계를 모델링함으로써 가장자리 및 무늬 유지 성능을 햖थ한 새로운 정규화 방법인 시공간 구조 텐서 총 변동(S3TTV)을 제안한다. S3TTV는 시뮬레이션 및 실세계 실험 모두에서 최신 기술들을 능가하며, 계산 효율성을 확보한 전처리된 원시-쌍대 분할 알고리즘을 통해 뛰어난 노이즈 억제 성능과 구조적 충실도를 동시에 확보한다.

ABSTRACT

This paper proposes a novel regularization method, named Spatio-Spectral Structure Tensor Total Variation (S3TTV), for denoising and destriping of hyperspectral (HS) images. HS images are inevitably contaminated by various types of noise, during acquisition process, due to the measurement equipment and the environment. For HS image denoising and destriping tasks, Spatio-Spectral Total Variation (SSTV) is widely known as a powerful regularization approach that models the spatio-spectral piecewise smoothness. However, since SSTV refers only to the local differences of pixels/bands, edges and textures that extend beyond adjacent pixels are not preserved during denoising process. To address this problem, we newly introduce S3TTV, which is designed to preserve two essential physical characteristics of HS images: semi-local spatial structures and spectral correlation across all bands. Specifically, we define S3TTV as the sum of the nuclear norms of spatio-spectral structure tensors, which are matrices formed by arranging second-order spatio-spectral difference vectors within semi-local areas. Furthermore, we formulate the HS image denoising and destriping problem as a constrained convex optimization problem involving S3TTV and develop an algorithm based on a preconditioned primal-dual splitting method to solve this problem efficiently. Finally, we demonstrate the effectiveness of S3TTV by comparing it with existing methods, including state-of-the-art ones through denoising and destriping experiments.

연구 동기 및 목표

• 고체적 공간적 구조와 스펙트럼 상관관계를 고려하지 못하는 기존 TV 기반 방법의 한계를 해결하기 위해, 이웃한 픽셀을 초월하는 가장자리 및 무늬 유지 능력을 향상시키는 것.
• 일阶 차분과 국소적 정규화로 인한 과도한 부드러움 및 가장자리 손상 문제를 해결하기 위한 것.
• 반국소적 공간적 구조 인식과 스펙트럼 상관관계 모델링을 총 변동 프레임워크에 통합하여 노이즈 제거 및 줄무늬 제거 성능을 향상시키기 위한 것.
• S3TTV 정규화를 포함하는 제약 조건이 있는 볼록 최적화 문제를 효율적으로 해결하기 위한 최적화 알고리즘 개발

제안 방법

• S3TTV는 반국소적 공간 및 스펙트럼 블록 내 이차 순서 차분으로 구성된 시공간 구조 텐서의 핵노름의 합으로 정의된다.
• 이 방법은 이차 순서 차분을 이용해 인접한 픽셀과 밴드 간 국소적 변동을 캡처함으로써 시공간 조각별 스무스함을 모델링한다.
• 이차 순서 공간 및 스펙트럼 차분으로부터 구조 텐서를 구성함으로써, 확장된 무늬와 가장자리를 유지할 수 있다.
• S3TTV 정규화를 포함하는 볼록 최적화 문제를 효율적으로 해결하기 위해 전처리된 원시-쌍대 분할(P-PDS) 알고리즘을 개발하였다.
• 차분 행렬의 낮은 질량 구조를 촉진함으로써 스펙트럼 상관관계를 통합함으로써 전반적인 스펙트럼 일관성을 향상시켰다.
• S3TTV 정규화와 데이터 적합성 간의 균형을 확보하기 위해 제약 조건이 있는 볼록 최적화 문제로 공식화하여 깨끗한 HS 이미지 복원을 수행하였다.

실험 결과

연구 질문

• RQ1 이차 순서의 시공간 차분은 일차 순서 차분보다 노이즈와 깨끗한 HS 이미지 구조를 더 잘 구분할 수 있는가?
• RQ2 반국소적 공간적 구조 인식을 통합함으로써 HS 이미지 노이즈 제거에서 가장자리 및 무늬 유지 성능이 향상되는가?
• RQ3 구조 텐서의 핵노름을 통한 스펙트럼 상관관계 모델링이 뿌연 현상 없이 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ4 S3TTV는 시뮬레이션 및 실세계 HS 데이터에서 PSNR, SSIM 및 시각적 품질 측면에서 최신 기술들과 비교해 어떻게 성능을 내는가?
• RQ5 실제 응용에서 S3TTV의 블록 크기 및 페널티 파라미터 ρ의 최적 설정은 무엇인가?

주요 결과

• 모든 테스트 데이터셋에서 S3TTV는 평균 PSNR(MPSNR)와 평균 SSIM(MSSIM)가 가장 높았으며, 최신 딥러닝 및 정규화 기반 접근법을 포함한 모든 베이스라인 방법보다 뛰어난 성능을 보였다.
• Jasper Ridge 데이터셋에서 S3TTV는 MPSNR 38.12 dB, MSSIM 0.987을 기록하였으며, 두 번째로 우수한 성능을 보인 QRNN3D 방법보다 PSNR에서 0.6 dB 높게 나타났다.
• Pavia University 및 Beltsville 데이터셋의 실세계 데이터에서 S3TTV는 뛰어난 성능을 유지하였으며, 실제 노이즈 패턴에 대한 강건성을 입증하였다.
• 제거 분석 결과, 이차 순서 차분이 일차 순서 차분보다 노이즈와 깨끗한 이미지 구조를 더 효과적으로 구분하는 데 유리함을 확인하였다.
• 수렴 분석 결과, S3TTV는 100회 이터레이션 내에 안정화되었으며, 목적 함수 및 이미지 품질 지표(PSNR, SSIM)가 단조롭게 향상됨을 확인하였다.
• 기타 구조 텐서 기반 방법들보다 계산 효율성이 뛰어나, Jasper Ridge, Pavia University, Beltsville에서 각각 1.37×10⁴, 2.05×10⁴, 1.74×10⁴ 초의 실행 시간을 기록하여 STV 및 SSST를 능가하면서도 높은 정확도를 유지하였다.