[論文レビュー] Arithmetic and Frequency Filtering Methods of Pixel-Based Image Fusion Techniques

Firouz Abdullah Al-Wassai, N. V. Kalyankar+1 more|arXiv (Cornell University)|Jul 18, 2011

Advanced Image Fusion Techniques参考文献 46被引用数 20

ひとこと要約

本稿では、リモートセンシングにおけるピクセルベースの画像融合において、高分解能のパノラマ（PAN）画像と低分解能のマルチスプライタル（MS）画像を統合して高分解能のマルチスプライタル融合画像を生成するための算術的および周波数フィルタリング手法を提案し、評価している。SNR、エントロピー、NRMSEといった定量的指標を用いて、ブロイ・トランスフォーム、ウェーブレットベースの融合、ハイパスフィルタ法などの手法を比較し、ウェーブレットベースの融合がスペクトル的および空間的品質の保持において優れた結果を示していることが明らかになった。

ABSTRACT

In remote sensing, image fusion technique is a useful tool used to fuse high spatial resolution panchromatic images (PAN) with lower spatial resolution multispectral images (MS) to create a high spatial resolution multispectral of image fusion (F) while preserving the spectral information in the multispectral image (MS).There are many PAN sharpening techniques or Pixel-Based image fusion techniques that have been developed to try to enhance the spatial resolution and the spectral property preservation of the MS. This paper attempts to undertake the study of image fusion, by using two types of pixel-based image fusion techniques i.e. Arithmetic Combination and Frequency Filtering Methods of Pixel-Based Image Fusion Techniques. The first type includes Brovey Transform (BT), Color Normalized Transformation (CN) and Multiplicative Method (MLT). The second type include High-Pass Filter Additive Method (HPFA), High-Frequency-Addition Method (HFA) High Frequency Modulation Method (HFM) and The Wavelet transform-based fusion method (WT). This paper also devotes to concentrate on the analytical techniques for evaluating the quality of image fusion (F) by using various methods including Standard Deviation (SD), Entropy(En), Correlation Coefficient (CC), Signal-to Noise Ratio (SNR), Normalization Root Mean Square Error (NRMSE) and Deviation Index (DI) to estimate the quality and degree of information improvement of a fused image quantitatively.

研究の動機と目的

• ピクセルベースの画像融合における算術的および周波数フィルタリング手法の調査と比較を行う。
• 高分解像のパノラマ（PAN）画像と融合することで、マルチスプライタル（MS）画像の空間分解能を向上させるとともに、そのスペクトル的特性を保持する。
• SNR、エントロピー、NRMSEなどの定量的指標を用いて、さまざまな融合手法の性能を評価する。
• スペクトル忠実度および空間的強化の観点から、最も効果的な融合手法を特定する。
• 複数の目的指標を用いた画像融合品質の体系的分析フレームワークを提供する。

提案手法

• PANおよびMS画像のピクセルレベル融合に、ブロイ・トランスフォーム（BT）、カラーノーマライズド（CN）、乗法的法（MLT）を含む算術的組み合わせ手法を適用する。
• ハイパスフィルタ加算（HPFA）、高周波数加算（HFA）、高周波数モodulation（HFM）、ウェーブレット変換ベース（WT）融合を含む周波数フィルタリング技術を用いて、空間的詳細を強化する。
• 標準偏差（SD）、エントロピー（En）、相関係数（CC）、信号対雑音比（SNR）、正規化平均二乗誤差（NRMSE）、偏差インデックス（DI）を用いて、融合画像の品質を定量的に評価する。
• PANおよびMS画像を空間的に整合させ、ピクセル単位の演算を適用して解像度を向上させた融合画像（F）を生成する。
• ウェーブレット変換を用いてPANおよびMS画像をサブバンドに分解し、高周波成分を融合することで、テクスチャおよびエッジ情報を保持する。
• 一貫した性能指標のセットを用いて、各手法の融合結果を比較し、有効性を順位付けする。

実験結果

リサーチクエスチョン

• RQ1 空間的およびスペクトル的忠実度の観点から、算術的または周波数フィルタリング手法のうち、どのピクセルベースの融合手法が最高の品質の融合画像を生じるか？
• RQ2 BT、CN、MLTなどの異なる算術的手法は、空間分解能の向上を図る一方で、どの程度スペクトル的特性を保持しているか？
• RQ3 HPFA、HFA、HFM、WTなどの周波数フィルタリング技術は、算術的手法と比較して、融合画像の品質をどの程度向上させるか？
• RQ4 SNR、エントロピー、NRMSEといった標準的指標は、融合マルチスプライタル画像の品質を客観的に定量化するためにどの程度有効か？
• RQ5 統合的定量的評価に基づくと、評価された融合手法の相対的性能順位はどのようになるか？

主な発見

• ウェーブレット変換ベースの融合手法（WT）は、最高の信号対雑音比（SNR）と最小の正規化平均二乗誤差（NRMSE）を達成しており、優れた画像品質を示している。
• ブロイ・トランスフォーム（BT）手法は中程度の性能を示し、妥当なスペクトル保持が可能であるが、ウェーブレットベースの手法と比較して空間的強化が低い。
• ハイパスフィルタ加算（HPFA）および高周波数加算（HFA）手法は空間分解能を向上させたが、ノイズレベルが上昇し、SNR値が低くなった。
• エントロピー（En）値はウェーブレットベースの融合手法で最も高く、融合画像における情報量および詳細の保持が顕著に優れていることを示している。
• 相関係数（CC）はWT手法で最高であり、融合画像と元のMS画像との間のスペクトル応答における類似性が強く確認された。
• 偏差インデックス（DI）は、WT手法が評価されたすべての手法の中で最も正確なスペクトル的特性を維持していることを示している。