[논문 리뷰] Multisensor Images Fusion Based on Feature-Level

Firouz Abdullah Al-Wassai, N. V. Kalyankar외 1명|arXiv (Cornell University)|2011. 08. 20.

Advanced Image Fusion TechniquesEngineering참고 문헌 17인용 수 16

한 줄 요약

이 논문은 주성분 분석(PCA), 세그먼트 융합(SF), 에지 융합(EF)을 사용한 특징 수준의 다중 센서 영상 융합 프레임워크를 제안하여 영상 품질 향상과 정보 보존을 도모한다. 원격 감지 자료에서 구조적이고 문양적인 세부 정보를 보존하는 데 있어 전통적인 픽셀 수준 융합 방법보다 특징 수준 융합이 뛰어나다는 것을 입증하기 위해 SNR, NRMSE, DI 등의 지표를 사용하여 융합 성능을 평가한다.

ABSTRACT

Until now, of highest relevance for remote sensing data processing and analysis have been techniques for pixel level image fusion. So, This paper attempts to undertake the study of Feature-Level based image fusion. For this purpose, feature based fusion techniques, which are usually based on empirical or heuristic rules, are employed. Hence, in this paper we consider feature extraction (FE) for fusion. It aims at finding a transformation of the original space that would produce such new features, which preserve or improve as much as possible. This study introduces three different types of Image fusion techniques including Principal Component Analysis based Feature Fusion (PCA), Segment Fusion (SF) and Edge fusion (EF). This paper also devotes to concentrate on the analytical techniques for evaluating the quality of image fusion (F) by using various methods including (SD), (En), (CC), (SNR), (NRMSE) and (DI) to estimate the quality and degree of information improvement of a fused image quantitatively.

연구 동기 및 목표

• 다중 센서 원격 감지에서 기존의 픽셀 수준 융합에 대체로 특징 수준 융합을 탐색하기 위해.
• 입력 영상을 최적화된 특징 공간으로 변환하여 정보 보존과 영상 품질 향상을 위해.
• SNR, NRMSE, DI 등을 포함한 다수의 정량적 지표를 사용하여 융합 성능 평가하기 위해.
• PCA, 세그먼트 융합, 에지 융합의 세 가지 특징 기반 융합 기법의 효과성을 비교하기 위해.
• 원격 감지 응용 분야에서 융합 품질을 평가하기 위한 체계적인 분석 프레임워크 제공하기 위해.

제안 방법

• 다중 센서 영상에서 주도적 특징을 추출하기 위해 주성분 분석(PCA)을 사용하여 분산을 유지하면서 차원을 감소시켰다.
• 영상 영역을 분할하고 세그먼트 기반 특징 표현을 기반으로 융합하는 방식으로 세그먼트 융합(SF)을 적용하였다.
• 기울기를 기반으로 한 특징 추출 및 융합을 통해 에지 특징을 유지하고 강화하기 위해 에지 융합(EF)을 사용하였다.
• 특징 수준 융합을 위해 히우리스틱 규칙을 사용하여 PCA, SF, EF의 출력을 통합하여 정보 보존을 극대화하였다.
• 표준 편차(SD), 엔트로피(En), 상관계수(CC), 신호 대 잡음비(SNR), 정규화된 평균 제곱근 오차(NRMSE), 품질 인덱스(DI)를 포함한 정량적 지표 세트를 활용하여 융합 성능 평가를 수행하였다.
• 구조적 및 문양적 정밀도를 평가하기 위해 다중 스펙트럼 및 퍼니컬러러 영상에 융합 파이프라인을 적용하였다.

실험 결과

연구 질문

• RQ1 특징 수준 융합은 영상 품질과 구조적 세부 정보 보존 측면에서 픽셀 수준 융합보다 어떻게 다를까?
• RQ2 PCA, 세그먼트 융합, 또는 에지 융합 중 어떤 특징 추출 방법이 융합 영상에서 가장 높은 정보 보존을 이룰까?
• RQ3 표준 영상 품질 지표(SNR, NRMSE, DI)는 융합 영상 품질 향상 정도를 실제로 얼마나 잘 반영하는가?
• RQ4 히우리스틱 기반 융합 규칙는 다수의 특징 수준 표현을 효과적으로 통합하여 최적의 융합 결과를 도출할 수 있는가?
• RQ5 특징 수준 융합은 원격 감지 영상에서 에지와 문양의 보존에 어떤 영향을 미치는가?

주요 결과

• 제안된 특징 수준 융합 프레임워크는 전통적인 픽셀 수준 융합 대비 더 높은 SNR와 낮은 NRMSE 값을 기록하여 신호 정밀도 향상됨을 나타냈다.
• 에지 융합(EF)은 더 높은 DI 및 CC 값으로 확인되며 미세한 세부 정보와 에지를 효과적으로 보존하는 데 뛰어난 성능을 보였다.
• 세그먼트 융합(SF)은 균일한 영역에서 뛰어난 성능을 보이며 문양 일관성을 유지하고 잡음을 감소시켰다.
• PCA 기반 융합은 효과적인 차원 감소를 제공하고 전반적인 영상 구조를 유지하였지만, 에지 보존 측면에선 중간 정도의 성능을 보였다.
• 히우리스틱 규칙를 사용하여 다수의 특징 수준 기법을 통합함으로써 더 견고하고 정보가 풍부한 융합 출력을 도출할 수 있었다.
• 평가 지표(SNR, NRMSE, DI)는 향상 정도를 효과적으로 정량화하였으며, 융합 후 DI 값이 뚜렷이 증가하여 영상 품질 향상이 확인되었다.