[논문 리뷰] Volumetric Super-Resolution of Multispectral Data

Vildan Atalay Aydın, Hassan Foroosh|arXiv (Cornell University)|2017. 05. 14.

Advanced Image Fusion Techniques참고 문헌 84인용 수 9

한 줄 요약

이 논문은 다수의 일자에서 촬영한 푸르스냅퍼드 다중스펙트럼(MS) 이미지를 융합하여 푸르스냅퍼드 다중스펙트럼 이미지의 공간 해상도를 초월하는 부피형 초해상도를 달성하기 위해 웨이블릿 기반 다중프레임 초해상도 방법을 제안한다. 하르 웨이블릿 도메인에서의 서브밴드 관계를 통해 시간적 및 공간적 정보를 동시에 활용함으로써, 스펙트럼 정밀도를 유지하면서도 공간 세부 정보를 향상시켜 기존의 보간법 및 IBP 방법보다 PSNR 및 SSIM 지표에서 뛰어난 성능을 발휘한다.

ABSTRACT

Most multispectral remote sensors (e.g. QuickBird, IKONOS, and Landsat 7 ETM+) provide low-spatial high-spectral resolution multispectral (MS) or high-spatial low-spectral resolution panchromatic (PAN) images, separately. In order to reconstruct a high-spatial/high-spectral resolution multispectral image volume, either the information in MS and PAN images are fused (i.e. pansharpening) or super-resolution reconstruction (SRR) is used with only MS images captured on different dates. Existing methods do not utilize temporal information of MS and high spatial resolution of PAN images together to improve the resolution. In this paper, we propose a multiframe SRR algorithm using pansharpened MS images, taking advantage of both temporal and spatial information available in multispectral imagery, in order to exceed spatial resolution of given PAN images. We first apply pansharpening to a set of multispectral images and their corresponding PAN images captured on different dates. Then, we use the pansharpened multispectral images as input to the proposed wavelet-based multiframe SRR method to yield full volumetric SRR. The proposed SRR method is obtained by deriving the subband relations between multitemporal MS volumes. We demonstrate the results on Landsat 7 ETM+ images comparing our method to conventional techniques.

연구 동기 및 목표

• 다중스펙트럼 위성 영상에서 시간적 및 공간적 정보를 동시에 활용하지 못하는 기존의 푸르스냅퍼딩 및 초해상도 기법의 한계를 해결하기 위해.
• 다중시기 푸르스냅퍼드 MS 데이터를 융합하여 푸르스냅퍼드 다중스펙트럼 이미지의 공간 해상도를 푸르스냅퍼드 밴드(PAN)의 한계를 초월하여 향상시키기 위해.
• 내부 밴드 서브밴드 관계를 위한 폐쇄형 웨이블릿 도메인 모델을 개발하여 정확한 다중프레임 초해상도 재구성 가능하게 하기 위해.
• 기존의 초해상도 기법에서 흔히 발생하는 과도한 부드러움과 스펙트럼 왜곡을 방지하면서도 스펙트럼 정보를 유지하면서 공간 해상도를 향상시키기 위해.
• 실제 랜드세트 7 ETM+ 데이터를 대상으로 제안된 방법의 유효성을 입증하고, 보간법 및 IBP 기반 방법과의 성능을 비교하기 위해.

제안 방법

• 다른 일자에 촬영한 다중스펙트럼(MS) 및 푸르스냅퍼드(PAN) 영상에 대해 먼저 푸르스냅퍼딩을 적용하여 고공간 해상도 MS 이미지를 생성한다.
• 한 밴드를 기준으로 삼아 다중시기 MS 영상을 정렬하기 위해 영상 정렬을 수행하여 기울임과 이동을 교정함으로써, 잔여 오차는 전적으로 이동성 이동만 남도록 한다.
• 하르 도메인에서 유도된 서브밴드 관계를 활용하여 다중프레임 초해상도 알고리즘을 개발하여, 다중화간 및 내부 밴드 간의 상관관계를 모델링한다.
• 초기 고해상도 추정치를 업샘플링 및 역웨이블릿 변환을 통해 얻은 후, 역웨이블릿 변환과 서브밴드 재구성을 사용하여 반복적으로 최적화되는 비용 함수를 설정한다.
• 이 알고리즘은 다중프레임 간의 시간적 일관성과 PAN 밴드의 공간 해상도를 동시에 활용하여 고해상도, 고스펙트럼 부피 영상을 재구성한다.
• 폐쇄형 웨이블릿 서브밴드 모델은 다중화간 공간 및 스펙트럼 상관관계를 인코딩함으로써 효율적인 계산과 안정적인 재구성 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 푸르스냅퍼딩과 다중프레임 초해상도를 융합함으로써, 푸르스냅퍼드 밴드(PAN)의 원래 해상도를 초월하는 공간 해상도 향상을 달성할 수 있는가?
• RQ2 다중시기 다중스펙트럼 영상의 시간적 정보를 고공간 해상도 PAN 데이터와 효과적으로 융합하여 초해상도 성능을 향상시킬 수 있는가?
• RQ3 제안된 웨이블릿 도메인 서브밴드 모델링은 기존의 보간법 및 IBP 기반 방법에 비해 스펙트럼 유지 및 에지 세부 정보 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 재구성된 고해상도 다중스펙트럼 부피에서 스펙트럼 왜곡을 최소화하면서도 더 높은 PSNR 및 SSIM 값을 달성할 수 있는가?
• RQ5 푸르스냅퍼딩과 다중프레임 SRR의 통합은 별도의 푸르스냅퍼딩 또는 SRR 기법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 모든 랜드세트 7 ETM+ 밴드(1, 2, 3, 4, 5, 7)에서 이중선형, 이차선형, IBP 보간법보다 높은 PSNR 및 SSIM 값을 기록하였으며, 밴드 1에서 최대 34.82 dB의 PSNR 향상을 달성하였다.
• 밴드 3에서는 제안된 방법이 27.26 dB의 PSNR를 기록하여 IBP(21.65 dB)와 이차선형(22.39 dB)을 크게 앞서며, 더 나은 에지 및 질감 재구성 능력을 보였다.
• 밴드 4에서는 제안된 방법이 16.47 dB의 PSNR를 기록하였으며, IBP보다 낮지만 SSIM = 0.51을 유지하여 저대비 영역에서도 안정성을 확보하였다.
• 기존 기법보다 더 효과적으로 스펙트럼 정보를 유지하였으며, 특히 밴드 1, 2, 5, 7에서 제안된 방법의 SSIM 값이 0.91를 초과하여 이를 뒷받침한다.
• 실제 실험에서 참값이 없는 상황에서도 RGB 복합도를 통해 시각적 검토 결과, 기준 방법 대비 더 선명한 에지와 향상된 질감 세부 정보를 제공하였다.
• 표 III의 정량적 결과는 제안된 방법이 이중선형 및 이차선형 보간법을 일관되게 능가하고, 특히 고스펙트럼 밴드에서 IBP와 동등하거나 이를 초월하는 PSNR 및 SSIM 성능을 보임을 확인한다.