[논문 리뷰] The Statistical methods of Pixel-Based Image Fusion Techniques

Firouz Abdullah Al-Wassai, N. V. Kalyankar외 1명|arXiv (Cornell University)|2011. 08. 12.

Advanced Image Fusion Techniques참고 문헌 4인용 수 5

한 줄 요약

이 논문은 고해상도 펄스채널(PAN) 및 저해상도 다중스펙트럼(MS) 위성 영상을 융합하기 위해 다섯 가지 통계적 픽셀 기반 영상 융합 기법—국소 평균 매칭(LMM), 국소 평균 및 분산 매칭(LMVM), 회귀 변수 치환(RVS), 국소 상관관계 모델링(LCM)—을 평가한다. 신호 대 잡음비(SNR), NRMSE, 상관계수와 같은 정량적 지표를 사용하여 성능을 비교하여, 융합된 영상의 스펙트럼 및 공간 품질을 유지하는 데 가장 효과적인 방법으로 LCM을 규명한다.

ABSTRACT

There are many image fusion methods that can be used to produce high-resolution mutlispectral images from a high-resolution panchromatic (PAN) image and low-resolution multispectral (MS) of remote sensed images. This paper attempts to undertake the study of image fusion techniques with different Statistical techniques for image fusion as Local Mean Matching (LMM), Local Mean and Variance Matching (LMVM), Regression variable substitution (RVS), Local Correlation Modeling (LCM) and they are compared with one another so as to choose the best technique, that can be applied on multi-resolution satellite images. This paper also devotes to concentrate on the analytical techniques for evaluating the quality of image fusion (F) by using various methods including Standard Deviation (SD), Entropy(En), Correlation Coefficient (CC), Signal-to Noise Ratio (SNR), Normalization Root Mean Square Error (NRMSE) and Deviation Index (DI) to estimate the quality and degree of information improvement of a fused image quantitatively.

연구 동기 및 목표

• 다섯 가지 통계적 픽셀 기반 영상 융합 기법의 성능을 평가하고 비교하여 다중스펙트럼 영상 해상도를 향상시키는 것을 목적으로 한다.
• 고해상도 펄스채널 및 저해상도 다중스펙트럼 위성 영상을 융합하기 위한 최적의 융합 방법을 규명하는 것.
• SNR, NRMSE, 상관계수와 같은 정량적 지표를 적용하여 융합 품질을 객관적으로 평가하는 것.
• 융합 과정에서 상관관계 모델링 및 매칭 기법의 효과를 분석하여 영상 무결성을 유지하는 데 기여하는지 평가하는 것.
• 객관적인 성능 지표를 바탕으로 최상의 통계적 융합 방법을 선정하기 위한 기준을 제시하는 것.

제안 방법

• 이 연구는 PAN 및 MS 영상을 융합하기 위해 다섯 가지 통계적 융합 기법—LMM, LMVM, RVS, LCM—을 적용한다.
• 각 방법은 PAN 및 MS 영상 간 국소 통계적 성질—평균, 분산, 상관계수—를 사용하여 고해상도 다중스펙트럼 데이터를 예측한다.
• 융합 과정은 국소 영상 윈도우 내의 통계적 관계를 기반으로 한 공간 정렬 및 픽셀 단위의 변환을 포함한다.
• 성능 평가는 여섯 가지 정량적 지표—표준편차(SD), 엔트로피(En), 상관계수(CC), 신호 대 잡음비(SNR), 정규화된 평균 제곱근 오차(NRMSE), 이탈 지수(DI)—를 사용하여 평가된다.
• 지표들은 융합된 영상 전반에 걸쳐 계산되어 스펙트럼 보존 정도, 잡음 수준, 원본 데이터와의 구조 유사도를 평가한다.
• 최고의 성능을 보인 방법은 가장 높은 SNR 및 CC와 가장 낮은 NRMSE 및 DI 값을 기준으로 선정된다.

실험 결과

연구 질문

• RQ1 스펙트럼 및 공간 무결성 측면에서 가장 높은 품질의 융합 영상을 생성하는 통계적 융합 방법은 무엇인가?
• RQ2 LMM, LMVM, RVS, LCM는 융합 과정에서 영상 정보를 얼마나 잘 보존하는가?
• RQ3 SNR, NRMSE, 상관계수는 융합 영상 품질을 평가하는 데 신뢰할 수 있는 지표로 작용하는가?
• RQ4 국소 상관관계 모델링(LCM)을 통합할 경우, 간단한 매칭 기법보다 성능 향상이 뚜렷한가?
• RQ5 엔트로피와 표준편차는 융합 영상의 정보량 평가에 어떻게 기여하는가?

주요 결과

• 국소 상관관계 모델링(LCM)은 가장 높은 상관계수(CC)와 신호 대 잡음비(SNR)를 기록하여 구조적 및 스펙트럼 보존 측면에서 뛰어난 성능을 보였다.
• LCM는 가장 낮은 정규화된 평균 제곱근 오차(NRMSE)를 기록하여 융합 영상의 왜곡이 최소화되었음을 확인했다.
• 이탈 지수(DI) 역시 LCM에서 가장 낮게 나타나 원본 다중스펙트럼 데이터에서의 편차가 최소임을 시사했다.
• 회귀 변수 치환(RVS)은 중간 수준의 성능을 보였지만, 모든 정량적 지표에서 LCM에 뒤지지 않았다.
• 국소 평균 및 분산 매칭(LMVM)은 LMM보다 더 나은 결과를 보였지만, 여전히 LCM에 비해 영상 품질 보존 측면에서 열등했다.
• 엔트로피(En)와 표준편차(SD)는 LCM가 융합 영상에 가장 높은 수준의 정보량을 유지했음을 시사했다.