[논문 리뷰] A novel statistical fusion rule for image fusion and its comparison in non subsampled contourlet transform domain and wavelet domain

V. T. Manu, Philomina Simon|arXiv (Cornell University)|2012. 05. 08.

Advanced Image Fusion Techniques참고 문헌 8인용 수 4

한 줄 요약

이 논문은 의료 영상, 원격 감지 영상 및 다중 초점 영상에서 웨이브릿 도메인 방법에 비해 뛰어난 경계 유지 능력과 시각적 품질을 보이는 비모수적 융합 규칙인 가중 평균 융합 방법(Weighted Average Merging Method, WAMM)을 비샘플링 커프레트 변환(NSCT) 도메인에 제안한다.

ABSTRACT

Image fusion produces a single fused image from a set of input images. A new method for image fusion is proposed based on Weighted Average Merging Method (WAMM) in the NonSubsampled Contourlet Transform (NSCT) domain. A performance analysis on various statistical fusion rules are also analysed both in NSCT and Wavelet domain. Analysis has been made on medical images, remote sensing images and multi focus images. Experimental results shows that the proposed method, WAMM obtained better results in NSCT domain than the wavelet domain as it preserves more edges and keeps the visual quality intact in the fused image.

연구 동기 및 목표

• 변환 도메인의 방향성 및 다중 해상도 특성을 활용하여 영상 융합 성능을 향상시키는 새로운 통계적 융합 규칙 개발.
• 비샘플링 커프레트 변환(NSCT) 도메인과 이산 웨이브릿 변환(DWT) 도메인에서 다양한 통계적 융합 규칙의 성능 비교.
• 의료 영상, 원격 감지 영상 및 다중 초점 영상과 같은 다양한 영상 유형에 대해 제안된 방법을 평가하여 응용 분야에 대한 강건성 확보.
• NSCT 기반 융합에서 WAMM를 사용할 경우 웨이브릿 기반 융합보다 더 뛰어난 시각적 품질과 경계 유지 능력을 보여줌.

제안 방법

• 제안된 방법은 비샘플링 커프레트 변환(NSCT) 도메인에서 통계적 융합 규칙으로 가중 평균 융합 방법(WAMM)을 적용한다.
• NSCT는 입력 영상을 다중 하위대역으로 분해하여 샘플링을 생략함으로써 방향성 및 다중 해상도 특성을 유지한다.
• 지역적 영상 특성인 분산 및 에너지 기반의 통계적 가중치를 사용하여 NSCT 계수에 융합 규칙를 적용한다.
• 역 NSCT를 통해 융합된 계수를 재구성하여 최종 융합 영상을 생성한다.
• 비교 분석을 위해 동일한 융합 과정을 이산 웨이브릿 변환(DWT) 도메인에서도 반복한다.
• 시각적 검토 및 경계 유지도, 구조적 유사도와 같은 정량적 지표를 사용하여 성능 평가.

실험 결과

연구 질문

• RQ1 제안된 WAMM 융합 규칙가 NSCT 도메인에서 기존의 통계적 융합 규칙보다 경계 유지 능력과 시각적 품질 측면에서 뛰어나다고 할 수 있는가?
• RQ2 WAMM의 성능이 다양한 영상 유형에서 NSCT 도메인과 웨이브릿 도메인 간에 어떻게 비교되는가?
• RQ3 NSCT 기반 융합이 웨이브릿 기반 융합에 비해 구조적 세부 정보를 얼마나 잘 유지하고 잡음이나 아티팩트를 줄이는가?
• RQ4 제안된 융합 규칙가 의료 영상, 원격 감지 영상 및 다중 초점 영상과 같은 다양한 영상 융합 시나리오를 효과적으로 처리할 수 있는가?
• RQ5 동일한 통계적 융합 규칙을 사용할 때 NSCT 도메인과 웨이브릿 도메인 간의 융합 품질 정량적 차이가 무엇인가?

주요 결과

• 시각적 및 정량적 분석을 통해 NSCT 도메인에서 제안된 WAMM 융합 규칙가 웨이브릿 도메인에 비해 뛰어난 경계 유지 능력을 확보하였다.
• NSCT 도메인에서 융합된 영상가 더 높은 시각적 품질과 구조적 통합성을 유지하였으며, 특히 복잡한 무늬와 미세한 세부 정보에서 두드러졌다.
• 의료 영상, 원격 감지 영상 및 다중 초점 영상 전반에 걸쳐 일관된 성능을 보여, 광범위한 적용 가능성을 입증하였다.
• NSCT 도메인에서의 통계적 융합 규칙가 웨이브릿 도메인에 비해 영상 특징 유지 능력과 잡음 최소화 측면에서 뛰어났다.
• NSCT 기반 접근 방식이 더 많은 고주파 성분을 유지하고 블러링을 줄여 더 선명한 융합 영상을 제공하였다.
• 실험 결과는 NSCT가 이산 웨이브릿 변환(DWT)보다 이동 불변성과 방향 선택성 면에서 영상 융합에 더 적합하다고 확인하였다.