[論文レビュー] The Statistical methods of Pixel-Based Image Fusion Techniques

Firouz Abdullah Al-Wassai, N. V. Kalyankar+1 more|arXiv (Cornell University)|Aug 12, 2011

Advanced Image Fusion Techniques参考文献 4被引用数 5

ひとこと要約

本論文は、高分解能パノラマ（PAN）および低分解能マルチスプライタル（MS）衛星画像を融合するための5つの統計的ピクセルベース画像融合技術—ローカル平均マッチング（LMM）、ローカル平均および分散マッチング（LMVM）、回帰変数置換（RVS）、およびローカル相関モデリング（LCM）—を評価する。SNR、NRMSE、相関係数といった定量的指標を用いて性能を比較し、融合画像におけるスペクトル的および空間的品質を保持する観点でLCMが最も効果的な手法であると特定した。

ABSTRACT

There are many image fusion methods that can be used to produce high-resolution mutlispectral images from a high-resolution panchromatic (PAN) image and low-resolution multispectral (MS) of remote sensed images. This paper attempts to undertake the study of image fusion techniques with different Statistical techniques for image fusion as Local Mean Matching (LMM), Local Mean and Variance Matching (LMVM), Regression variable substitution (RVS), Local Correlation Modeling (LCM) and they are compared with one another so as to choose the best technique, that can be applied on multi-resolution satellite images. This paper also devotes to concentrate on the analytical techniques for evaluating the quality of image fusion (F) by using various methods including Standard Deviation (SD), Entropy(En), Correlation Coefficient (CC), Signal-to Noise Ratio (SNR), Normalization Root Mean Square Error (NRMSE) and Deviation Index (DI) to estimate the quality and degree of information improvement of a fused image quantitatively.

研究の動機と目的

• 5つの統計的ピクセルベース画像融合技術の性能を評価・比較し、マルチスプライタル画像の分解能を向上させること。
• 高分解能パノラマおよび低分解能マルチスプライタル衛星画像を融合する最適な手法を特定すること。
• SNR、NRMSE、相関係数といった定量的指標を用いて、融合品質を客観的に評価すること。
• 相関モデリングおよびマッチング技術の有効性が、融合過程における画像忠実度を保つ上で果たす役割を分析すること。
• 客観的な性能指標に基づいて、最良の統計的融合手法を選定するためのベンチマークを提供すること。

提案手法

• 本研究では、PANおよびMS画像の融合に、5つの統計的融合技術（LMM、LMVM、RVS、LCM）を適用する。
• 各手法は、PANおよびMS画像間の局所的統計的特性（平均、分散、相関）を用いて、高分解像マルチスプライタルデータを予測する。
• 融合プロセスは、空間的整合性と局所的画像窓における統計的関係に基づくピクセル単位の変換を含む。
• 性能評価には6つの定量的指標を用いる：標準偏差（SD）、エントロピー（En）、相関係数（CC）、信号対雑音比（SNR）、正規化平均二乗誤差（NRMSE）、乖離指数（DI）。
• 指標は融合画像全体にわたって計算され、スペクトルの保持度、ノイズレベル、元のデータとの構造的類似度を評価する。
• SNRとCCが最も高く、NRMSEとDIが最も低い手法を最良の手法として選定する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル的および空間的忠実度の観点で、どの統計的融合手法が最高品質の融合画像を生成するか？
• RQ2 LMM、LMVM、RVS、LCMは、融合過程における画像情報の保持度において、どのように比較されるか？
• RQ3 SNR、NRMSE、相関係数は、融合画像品質の指標として、どの程度信頼できるか？
• RQ4 ローカル相関モデリング（LCM）を組み込むことで、単純なマッチング手法に比べて融合性能が顕著に向上するか？
• RQ5 エントロピーと標準偏差は、融合画像の情報含量を評価するために、どのように寄与するか？

主な発見

• ローカル相関モデリング（LCM）は、最高の相関係数（CC）と信号対雑音比（SNR）を達成し、構造的およびスペクトル的保持度に優れた性能を示した。
• LCMは、最小の正規化平均二乗誤差（NRMSE）を示し、融合画像における歪みが最小限であることを確認した。
• 乖離指数（DI）もLCMで最も低く、元のマルチスプライタルデータからのずれが最小であった。
• 回帰変数置換（RVS）は中程度の性能を示したが、すべての定量的指標でLCMに劣った。
• ローカル平均および分散マッチング（LMVM）はLMMよりも優れた結果を示したが、画像品質の保持度においてLCMに及ばなかった。
• エントロピー（En）および標準偏差（SD）の結果から、LCMが融合画像において最高水準の情報含量を保持していたことが示された。