[論文レビュー] An Objective Evaluation Metric for image fusion based on Del Operator

Ali Akbar Kiaei, Hassan Khotanlou+3 more|arXiv (Cornell University)|May 19, 2019

Advanced Image Fusion Techniques参考文献 15被引用数 5

ひとこと要約

本稿では、デル演算子に基づく、照度に依存しない[0, 1]の確率として融合品質を定量化する、パラメータフリーな新しい目的評価指標を提案する。この手法は、ガウス平滑化画像上のデル演算子を用いて画素単位のベクトル場を計算し、局所勾配を正規分布としてモデル化し、融合忠実度を反映する確率スコアを導出する。この指標は、人間の知覚と整合性が高く、13の既存の非参照指標を上回る性能を示す。

ABSTRACT

In this paper, a novel objective evaluation metric for image fusion is presented. Remarkable and attractive points of the proposed metric are that it has no parameter, the result is probability in the range of [0, 1] and it is free from illumination dependence. This metric is easy to implement and the result is computed in four steps: (1) Smoothing the images using Gaussian filter. (2) Transforming images to a vector field using Del operator. (3) Computing the normal distribution function (μ,σ) for each corresponding pixel, and converting to the standard normal distribution function. (4) Computing the probability of being well-behaved fusion method as the result. To judge the quality of the proposed metric, it is compared to thirteen well-known non-reference objective evaluation metrics, where eight fusion methods are employed on seven experiments of multimodal medical images. The experimental results and statistical comparisons show that in contrast to the previously objective evaluation metrics the proposed one performs better in terms of both agreeing with human visual perception and evaluating fusion methods that are not performed at the same level.

研究の動機と目的

• 画像統合品質を評価するための信頼性が高く、照度に依存しない目的指標の不足に対処すること。
• 融合画像品質を評価するにあたり、人間の視覚的知覚と密接に一致する指標を開発すること。
• パラメータが不要で、[0, 1]の確率ベースのスコアを出力する評価手法を構築すること。
• マルチモーダル医療画像データセットにおいて、多様な画像統合手法を一貫してかつ信頼性高く比較可能にする。
• 既存の非参照指標が、性能レベルに差がある統合手法を区別する能力に制限を抱える問題を克服すること。

提案手法

• ノイズ低減と勾配計算の精度向上を目的に、入力画像をガウスフィルタで平滑化する。
• 各画像をデル演算子を用いて、各画素における空間勾配情報を表すベクトル場に変換する。
• 融合画像と元画像の対応画素における勾配大きさの平均（μ）と標準偏差（σ）を推定する。
• 局所勾配分布を標準正規分布に変換し、確率的比較を可能にする。
• 観測された勾配差の標準正規分布の累積分布関数を評価することで、統合手法が適切に動作している確率を計算する。
• 画素単位の確率を集約し、最終的なスコアを[0, 1]の範囲で得る。このスコアが全体の統合品質を表す。

実験結果

リサーチクエスチョン

• RQ1 提案されたデルベース指標は、融合医療画像の評価において、人間の視覚的知覚とどの程度相関しているか？
• RQ2 提案された指標は、性能レベルに差がある統合手法を信頼性高く区別できるか？
• RQ3 提案された指標は、入力画像の照度変動に対してどの程度独立しているか？
• RQ4 提案された指標は、13の既存の非参照指標と比較して、一貫性と正確性の面で優れているか？
• RQ5 調整可能なパラメータが存在しないことで、評価のロバスト性と一般化能力が向上するか？

主な発見

• 提案された指標は、7つのマルチモーダル医療画像実験において、13の既存非参照指標と比較して人間の視覚的知覚との一致が顕著に優れていた。
• 効果に差がある統合手法を効果的に区別でき、性能差に敏感であることが示された。
• 評価スコアは常に[0, 1]の範囲にあり、高い値がより優れた統合品質を示し、照度変化に依存しないことが確認された。
• 統計的比較により、提案指標の性能が、一貫性と知覚的整合性の面で既存の代替指標を顕著に上回っていることが確認された。
• ユーザー定義パラメータが一切不要で、計算も効率的であり、4段階の簡単な手順で結果が得られた。
• 異なる医療画像モodalティ（8種類）に適用された8種類の統合アルゴリズムに対し、指標は堅牢な性能を示した。