[論文レビュー] Multisensor Images Fusion Based on Feature-Level

Firouz Abdullah Al-Wassai, N. V. Kalyankar+1 more|arXiv (Cornell University)|Aug 20, 2011

Advanced Image Fusion TechniquesEngineering参考文献 17被引用数 16

ひとこと要約

本稿では、主成分分析（PCA）、セグメンテーション融合（SF）、エッジ融合（EF）を用いた特徴レベルのマルチセンサ画像融合フレームワークを提案し、画像品質の向上と情報の保持を図っている。SNR、NRMSE、DIなどの指標を用いて融合性能を評価した結果、特徴レベルの融合が、リモートセンシングデータにおいて構造的・テクスチャ的詳細の保持において、従来のピクセルレベル手法を上回ることを示している。

ABSTRACT

Until now, of highest relevance for remote sensing data processing and analysis have been techniques for pixel level image fusion. So, This paper attempts to undertake the study of Feature-Level based image fusion. For this purpose, feature based fusion techniques, which are usually based on empirical or heuristic rules, are employed. Hence, in this paper we consider feature extraction (FE) for fusion. It aims at finding a transformation of the original space that would produce such new features, which preserve or improve as much as possible. This study introduces three different types of Image fusion techniques including Principal Component Analysis based Feature Fusion (PCA), Segment Fusion (SF) and Edge fusion (EF). This paper also devotes to concentrate on the analytical techniques for evaluating the quality of image fusion (F) by using various methods including (SD), (En), (CC), (SNR), (NRMSE) and (DI) to estimate the quality and degree of information improvement of a fused image quantitatively.

研究の動機と目的

• マルチセンサリモートセンシングにおける従来のピクセルレベル融合の代替手段として、特徴レベル融合を検討すること。
• 入力画像を最適化された特徴空間に変換することで、情報の保持と画像品質の向上を図ること。
• SNR、NRMSE、DIを含む複数の定量的指標を用いて、融合性能を評価すること。
• 主成分分析（PCA）、セグメンテーション融合（SF）、エッジ融合（EF）という3つの特徴ベース融合技術の有効性を比較すること。
• リモートセンシング応用における融合品質を評価するための体系的で分析可能なフレームワークを提供すること。

提案手法

• マルチセンサ画像から主要な特徴を抽出するために主成分分析（PCA）を採用し、分散を保持しつつ次元削減を実現した。
• 画像を領域に分割し、セグメンテーションに基づく特徴表現を用いて融合するセグメンテーション融合（SF）を適用した。
• 勾配に基づく特徴抽出と融合により、エッジ特徴を保持・強化するエッジ融合（EF）を用いた。
• ヒューリスティックなルールを用いてPCA、SF、EFの出力を統合し、特徴レベル融合を実現することで、情報保持を最大化した。
• 標準偏差（SD）、エントロピー（En）、相関係数（CC）、信号対雑音比（SNR）、正規化平均二乗誤差（NRMSE）、品質指数（DI）を含む一連の定量的指標を活用して、融合性能を評価した。
• 構造的・テクスチャ的忠実度を評価するために、マルチスペクトルおよびパンクロマチックリモートセンシング画像に融合パイプラインを適用した。

実験結果

リサーチクエスチョン

• RQ1 特徴レベル融合は、画像品質と構造的詳細の保持において、ピクセルレベル融合と比較してどのように異なるか？
• RQ2 PCA、セグメンテーション融合、エッジ融合のうち、どの特徴抽出手法が融合画像における情報保持率を最も高めるか？
• RQ3 標準的な画像品質指標（SNR、NRMSE、DI）は、融合画像品質の実際の向上をどの程度反映しているか？
• RQ4 ヒューリスティックに基づく融合ルールは、複数の特徴レベル表現を効果的に統合し、最適な融合結果を得られるか？
• RQ5 特徴レベル融合は、リモートセンシング画像におけるエッジやテクスチャの保持にどのような影響を与えるか？

主な発見

• 提案された特徴レベル融合フレームワークは、従来のピクセルレベル融合と比較して、より高いSNRと低いNRMSE値を達成しており、信号の忠実度が向上していることを示している。
• エッジ融合（EF）は、より高いDI値とCC値により、細かいディテールやエッジの保持において優れた性能を示した。
• セグメンテーション融合（SF）は、均一な領域において優れた性能を示し、テクスチャの一貫性を維持するとともにノイズ低減効果があった。
• PCAベースの融合は、次元削減を効果的に行い、グローバルな画像構造を保持したが、エッジの保持はやや劣っていた。
• ヒューリスティックなルールを用いて複数の特徴レベル手法を統合することで、より強固で情報量の多い融合出力が得られた。
• 評価指標（SNR、NRMSE、DI）は、改善を効果的に定量化しており、融合後にはDI値が顕著に上昇し、画像品質の向上が確認された。