[논문 리뷰] Arithmetic and Frequency Filtering Methods of Pixel-Based Image Fusion Techniques

Firouz Abdullah Al-Wassai, N. V. Kalyankar외 1명|arXiv (Cornell University)|2011. 07. 18.

Advanced Image Fusion Techniques참고 문헌 46인용 수 20

한 줄 요약

이 논문은 고해상도 편광 이미지(PAN)와 저해상도 다중스펙트럼(_MS) 이미지를 융합하여 고해상도 다중스펙트럼 융합 이미지를 생성하기 위한 픽셀 기반 영상 융합에서 산술 및 주파수 필터링 방법을 제안하고 평가한다. SNR, 엔트로피, NRMSE와 같은 정량적 지표를 사용하여 브로비 변환, 웨이블릿 기반 융합, 고역통과 필터 방법 등을 비교하여, 웨이블릿 기반 융합이 더 뛰어난 스펙트럼 및 공간 해상도 유지 성능을 보임을 입증한다.

ABSTRACT

In remote sensing, image fusion technique is a useful tool used to fuse high spatial resolution panchromatic images (PAN) with lower spatial resolution multispectral images (MS) to create a high spatial resolution multispectral of image fusion (F) while preserving the spectral information in the multispectral image (MS).There are many PAN sharpening techniques or Pixel-Based image fusion techniques that have been developed to try to enhance the spatial resolution and the spectral property preservation of the MS. This paper attempts to undertake the study of image fusion, by using two types of pixel-based image fusion techniques i.e. Arithmetic Combination and Frequency Filtering Methods of Pixel-Based Image Fusion Techniques. The first type includes Brovey Transform (BT), Color Normalized Transformation (CN) and Multiplicative Method (MLT). The second type include High-Pass Filter Additive Method (HPFA), High-Frequency-Addition Method (HFA) High Frequency Modulation Method (HFM) and The Wavelet transform-based fusion method (WT). This paper also devotes to concentrate on the analytical techniques for evaluating the quality of image fusion (F) by using various methods including Standard Deviation (SD), Entropy(En), Correlation Coefficient (CC), Signal-to Noise Ratio (SNR), Normalization Root Mean Square Error (NRMSE) and Deviation Index (DI) to estimate the quality and degree of information improvement of a fused image quantitatively.

연구 동기 및 목표

• 원격 탐사에서 픽셀 기반 영상 융합을 위한 산술 및 주파수 필터링 방법을 조사하고 비교하는 것.
• 고해상도 편광(PAN) 이미지와 융합하여 다중스펙트럼(MS) 이미지의 공간 해상도를 향상시키면서도 스펙트럼 특성을 유지하는 것.
• SNR, 엔트로피, NRMSE와 같은 정량적 지표를 사용하여 다양한 융합 기법의 성능을 평가하는 것.
• 스펙트럼 충실도와 공간 해상도 향상 측면에서 가장 효과적인 융합 방법을 특정하는 것.
• 다양한 객관적 지표를 통합하여 영상 융합 품질을 평가하는 체계적인 분석 프레임워크를 제공하는 것.

제안 방법

• PAN 및 MS 이미지의 픽셀 수준 융합을 위한 산술 조합 방법으로 브로비 변환(BT), 색상 정규화(CN), 곱셈 방법(MLT)을 적용한다.
• 공간 세부 정보를 향상시키기 위해 고역통과 필터 추가(HPFA), 고주파수 추가(HFA), 고주파수 변조(HFM), 웨이블릿 변환 기반(WT) 융합과 같은 주파수 필터링 기법을 사용한다.
• 융합된 영상 품질의 정량적 평가를 위해 표준편차(SD), 엔트로피(En), 상관계수(CC), 신호 대 잡음비(SNR), 정규화된 평균 제곱근 오차(NRMSE), 이탈 지수(DI)를 사용한다.
• PAN 및 MS 이미지를 공간적으로 정렬하고 픽셀 단위 연산을 적용하여 해상도가 향상된 융합 영상(F)를 생성한다.
• 웨이블릿 변환을 적용하여 PAN 및 MS 이미지를 하위밴드로 분해하고, 고주파 성분을 융합하여 질감 및 경계 정보를 유지한다.
• 일관된 성능 지표 세트를 사용하여 다양한 방법의 융합 결과를 비교하고 효과성 순위를 매긴다.

실험 결과

연구 질문

• RQ1 공간적 및 스펙트럼적 충실도 측면에서 산술 융합 방법과 주파수 필터링 방법 중 어느 것이 가장 높은 품질의 융합 영상을 생성하는가?
• RQ2 다양한 산술 방법(BT, CN, MLT)은 스펙트럼 특성을 유지하면서 공간 해상도를 향상시키는 데 어떻게 비교되는가?
• RQ3 HPFA, HFA, HFM, WT와 같은 주파수 필터링 기법은 산술 방법에 비해 융합 영상 품질을 얼마나 향상시키는가?
• RQ4 SNR, 엔트로피, NRMSE와 같은 표준 지표는 융합된 다중스펙트럼 영상의 품질을 객관적으로 정량화하는 데 얼마나 효과적인가?
• RQ5 통합 정량 평가 기반으로 평가된 융합 기법들의 상대적 성능 순위는 어떻게 되는가?

주요 결과

• 웨이블릿 변환 기반 융합 방법(WT)은 가장 높은 신호 대 잡음비(SNR)와 가장 낮은 정규화된 평균 제곱근 오차(NRMSE)를 기록하여 뛰어난 영상 품질을 보였다.
• 브로비 변환(BT) 방법은 적절한 스펙트럼 유지 성능를 보였지만, 웨이블릿 기반 방법에 비해 공간 해상도 향상 수준이 낮았다.
• 고역통과 필터 추가(HPFA) 및 고주파수 추가(HFA) 방법은 공간 해상도를 향상시켰지만, 낮은 SNR 값으로 인해 더 높은 노이즈 수준을 유발하였다.
• 엔트로피(En) 값이 가장 높은 것은 웨이블릿 기반 융합 방법이었으며, 이는 융합 영상의 정보량과 세부 정보 유지에 유리함을 시사한다.
• 상관계수(CC)는 WT 방법에서 가장 높았으며, 이는 융합 영상와 원본 MS 영상 간의 스펙트럼 반응에서 강한 유사성을 확인함을 의미한다.
• 이탈 지수(DI)는 WT 방법이 평가된 모든 기법 중에서 가장 정확한 스펙트럼 특성을 유지함을 나타냈다.