[논문 리뷰] An Objective Evaluation Metric for image fusion based on Del Operator

Ali Akbar Kiaei, Hassan Khotanlou외 3명|arXiv (Cornell University)|2019. 05. 19.

Advanced Image Fusion Techniques참고 문헌 15인용 수 5

한 줄 요약

이 논문은 조명에 영향을 받지 않는 [0, 1] 범위의 확률로 융합 품질을 정량화하는 파rameter-free인 새로운 목적 평가 지표를 제안한다. 이는 Del 연산자를 기반으로 하며, 가우시안 스무딩된 이미지에 대해 Del 연산자를 적용하여 픽셀 단위의 벡터장을 계산하고, 국소적 기울기를 정규 분포로 모델링하여 융합의 정확도를 반영하는 확률 점수를 유도한다. 이 방법은 인간의 시각 인지와의 일치도 및 융합 품질의 구분 능력에서 기존의 13개의 비기준 기준 지표를 능가한다.

ABSTRACT

In this paper, a novel objective evaluation metric for image fusion is presented. Remarkable and attractive points of the proposed metric are that it has no parameter, the result is probability in the range of [0, 1] and it is free from illumination dependence. This metric is easy to implement and the result is computed in four steps: (1) Smoothing the images using Gaussian filter. (2) Transforming images to a vector field using Del operator. (3) Computing the normal distribution function (μ,σ) for each corresponding pixel, and converting to the standard normal distribution function. (4) Computing the probability of being well-behaved fusion method as the result. To judge the quality of the proposed metric, it is compared to thirteen well-known non-reference objective evaluation metrics, where eight fusion methods are employed on seven experiments of multimodal medical images. The experimental results and statistical comparisons show that in contrast to the previously objective evaluation metrics the proposed one performs better in terms of both agreeing with human visual perception and evaluating fusion methods that are not performed at the same level.

연구 동기 및 목표

• 이미지 융합 품질 평가를 위한 신뢰할 수 있고 조명에 영향을 받지 않는 목적 평가 지표의 부족 문제를 해결하기 위해.
• 융합된 이미지 품질 평가에서 인간 시각 인지와 밀접하게 일치하는 지표를 개발하기 위해.
• 융합 성능에 대한 [0, 1] 범위의 확률 기반 점수를 생성하는 파rameter-free 평가 방법을 만들기 위해.
• 다양한 이미지 융합 기법을 다중 모달 의료 영상 데이터셋 간에 일관되고 신뢰할 수 있게 비교할 수 있도록 하기 위해.
• 기존의 비기준 기준 지표가 성능 수준이 다른 융합 방법을 구분하는 데에 한계를 보이는 문제를 해결하기 위해.

제안 방법

• 노이즈를 줄이고 기울기 계산을 향상시키기 위해 입력 이미지를 가우시안 필터로 스무딩하기.
• 각 이미지를 픽셀 단위의 공간 기울기 정보를 나타내는 벡터장으로 변환하기 위해 Del 연산자를 적용하기.
• 융합된 이미지와 원본 이미지의 대응 픽셀에서 기울기 크기의 평균(μ)과 표준편차(σ) 추정하기.
• 국소 기울기 분포를 표준 정규 분포로 변환하여 확률적 비교 수행하기.
• 관측된 기울기 차이에 대해 표준 정규 분포의 누적 분포 함수를 평가하여 융합 방법이 잘 작동할 가능성을 계산하기.
• 각 픽셀의 확률을 집계하여 최종 점수를 [0, 1] 범위로 도출하여 전체 융합 품질을 나타내기.

실험 결과

연구 질문

• RQ1 제안된 Del 기반 지표는 융합된 의료 영상 평가에서 인간의 시각 인지와 얼마나 잘 일치하는가?
• RQ2 제안된 지표는 성능 수준이 다른 융합 방법을 신뢰성 있게 구분할 수 있는가?
• RQ3 제안된 지표는 입력 이미지의 조명 변화에 얼마나 독립적인가?
• RQ4 제안된 지표는 기존의 13개의 확립된 비기준 기준 지표와 비교해 일관성과 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ5 조정 가능한 파rameter가 없는 것이 평가의 강인성과 일반화 능력을 향상시키는가?

주요 결과

• 제안된 지표는 일곱 개의 다중 모달 의료 영상 실험에서 기존의 13개의 비기준 기준 지표보다 인간의 시각 인지와 더 뛰어난 일치도를 보였다.
• 성능 수준이 다를 경우에도 융합 방법 간의 차이를 효과적으로 식별하여 성능 차이에 민감함을 입증했다.
• 평가 점수는 항상 [0, 1] 범위 내에 있었으며, 높은 값일수록 더 우수한 융합 품질을 의미했고, 조명 변화에 영향을 받지 않았다.
• 통계적 비교를 통해 제안된 지표가 기존 대안 대비 일관성과 인지 일치도 측면에서 유의미하게 뛰어난 성능을 보였다.
• 사용자 정의 파rameter가 필요로 하지 않으며, 네 단계로 이루어진 간단한 절차로 계산이 빠르게 이루어졌고, 계산 효율성이 높았다.
• 다양한 의료 영상 모odal과 여덟 가지 다른 융합 알고리즘에 적용되었을 때도 지표는 강인함을 보였다.