[논문 리뷰] Enhanced 3DTV Regularization and Its Applications on Hyper-spectral Image Denoising and Compressed Sensing

Jiangjun Peng, Qi Xie외 4명|arXiv (Cornell University)|2018. 09. 18.

Image and Signal Denoising Methods참고 문헌 3인용 수 5

한 줄 요약

이 논문은 고분광 영상(HSI) 기울기 맵의 스펙트럴 밴드 간 상관관계가 있는 희박성 구조를 모델링하는 새로운 정규화 방법인 향상된 3DTV(E-3DTV)를 제안한다. 기존 3DTV의 독립적인 희박성 가정을 대체하여, 기울기 맵의 부분공간 기저에 희박성 적용을 통해 상관관계를 더 잘 포착함으로써 HSI 정제 및 압축 감지 성능을 크게 향상시켰으며, 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

The 3-D total variation (3DTV) is a powerful regularization term, which encodes the local smoothness prior structure underlying a hyper-spectral image (HSI), for general HSI processing tasks. This term is calculated by assuming identical and independent sparsity structures on all bands of gradient maps calculated along spatial and spectral HSI modes. This, however, is always largely deviated from the real cases, where the gradient maps are generally with different while correlated sparsity structures across all their bands. Such deviation tends to hamper the performance of the related method by adopting such prior term. To this is- sue, this paper proposes an enhanced 3DTV (E-3DTV) regularization term beyond conventional 3DTV. Instead of imposing sparsity on gradient maps themselves, the new term calculated sparsity on the subspace bases on the gradient maps along their bands, which naturally encode the correlation and difference across these bands, and more faithfully reflect the insightful configurations of an HSI. The E-3DTV term can easily replace the previous 3DTV term and be em- bedded into an HSI processing model to ameliorate its performance. The superiority of the proposed methods is substantiated by extensive experiments on two typical related tasks: HSI denoising and compressed sensing, as compared with state-of-the-arts designed for both tasks.

연구 동기 및 목표

• 기존 3DTV 정규화의 한계를 해결하기 위해, 기울기 맵의 스펙트럴 밴드 간 독립적이고 동일하게 분포된 희박성 가정을 수정한다. 이는 실제 고분광 영상에서는 거의 성립하지 않는 조건이다.
• 기울기 맵의 진짜 희박성 구조를 반영할 수 있는 더 정확한 사전 지식을 개발하기 위해 스펙트럴 밴드 간 상관관계를 모델링한다.
• 기존 모델에 새로운 정규화를 통합하여 HSI 처리 성능을 정제 및 압축 감지에서 향상시킨다.
• E-3DTV가 다양한 HSI 작업에 일반적인 정규화자로 활용될 수 있음을 입증한다.

제안 방법

• E-3DTV 정규화는 기존 3DTV의 원본 기울기 맵에 대한 ℓ₁ 노름을, 기울기 맵의 펼침 행렬에서 유도된 부분공간 기저에 대한 희박성 유도 항으로 대체한다.
• 각 모드(공간 높이, 너비, 스펙트럼)에 대해 기울기 맵을 행렬로 펼치고, SVD를 통해 주요 부분공간을 추출하여 기저 행렬을 형성한다.
• 기울기 행렬과 해당 부분공간 기저의 곱에 대해 희박성을 강제 적용함으로써, 상하향 상관관계를 효과적으로 인코딩한다.
• 기존 HSI 정제 및 압축 감지 모델에 최소한의 수정으로 통합되며, 오직 3DTV 항목만 교체된다.
• 최적화는 분할 상향 최적화 방법(ADMM) 프레임워크를 사용하여 해결되며, 효율적이고 안정적인 수렴을 보장한다.
• 계산 효율성을 유지하면서도 재구성된 HSI의 정밀도와 에지 보존 성능을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 3DTV에서 스펙트럴 밴드 간 독립적인 희박성 가정이 HSI 재구성 품질에 미치는 영향은 어떠한가?
• RQ2 기울기 맵의 희박성에서 상하향 상관관계를 모델링하면 HSI 정제 및 압축 감지 성능이 향상될 수 있는가?
• RQ3 E-3DTV는 정제 및 압축 감지 작업에서 최신 기술 수준의 방법보다 어느 정도 향상되는가?
• RQ4 E-3DTV 정규화자는 다양한 HSI 데이터셋과 촬영 조건에 일반화 가능한가?

주요 결과

• 제안된 E-3DTV 방법은 고분광 영상 정제에서 최신 기술 수준의 성능을 달성하였으며, PSNR, SSIM, ERGAS를 포함한 모든 정량적 지표에서 기존 방법을 능가하였다.
• 압축 감지에서 E-3DTV는 모든 샘플링 비율(0.3%, 1%, 5%, 10%, 20%)에서 경쟁 방법보다 유의미하게 높은 PSNR 및 SSIM 값을 기록하였으며, 특히 낮은 샘플링 비율에서 가장 큰 향상이 관찰되었다.
• 시각적 결과에서는 E-3DTV가 JTTV, SL-TNCS, JTenRe3-DTV와 같은 방법들보다 더 잘 세밀한 무늬와 에지를 보존하는 것으로 나타났다. 복잡한 영역에서 특히 두드러진 성능 향상이 있었다.
• Urban, Moffett Field, DC Mall, Lowal Altitude와 같은 다양한 HSI 데이터셋에서 뛰어난 일반화 능력을 유지하며 안정적인 성능을 보였다.
• 그림 27에서 PSNR 및 SSIM 비교를 통해 모든 테스트 밴드에서 E-3DTV가 거의 모든 밴드에서 모든 기준선 방법을 능가하는 것으로 확인되었으며, 이는 일관된 성능 향상을 뒷받침한다.
• 결과는 기울기 맵 부분공간에서 상관관계 있는 희박성 모델링이 독립적인 희박성 모델링보다 HSI 구조를 더 충실하게 표현할 수 있음을 보여준다.