[論文レビュー] A novel statistical fusion rule for image fusion and its comparison in non subsampled contourlet transform domain and wavelet domain

V. T. Manu, Philomina Simon|arXiv (Cornell University)|May 8, 2012

Advanced Image Fusion Techniques参考文献 8被引用数 4

ひとこと要約

本稿では、医用画像、リモートセンシング画像、マルチフォーカス画像の分野において、ウェーブレットドメイン手法と比較して、エッジの保持と視覚的品質に優れた性能を示す、非サブサンプリング・コンターlet変換（NSCT）ドメインにおける新しい統計的融合ルール、重み付き平均マージング法（WAMM）を提案する。

ABSTRACT

Image fusion produces a single fused image from a set of input images. A new method for image fusion is proposed based on Weighted Average Merging Method (WAMM) in the NonSubsampled Contourlet Transform (NSCT) domain. A performance analysis on various statistical fusion rules are also analysed both in NSCT and Wavelet domain. Analysis has been made on medical images, remote sensing images and multi focus images. Experimental results shows that the proposed method, WAMM obtained better results in NSCT domain than the wavelet domain as it preserves more edges and keeps the visual quality intact in the fused image.

研究の動機と目的

• 変換ドメインの方向性および多スケール特性を活用することで、画像融合性能を向上させる新しい統計的融合ルールの開発を目的とする。
• 非サブサンプリング・コンターlet変換（NSCT）および離散ウェーブレット変換（DWT）ドメインにおける、さまざまな統計的融合ルールの性能を比較することを目的とする。
• 医用画像、リモートセンシング画像、マルチフォーカス画像を含む多様な画像タイプに対して、提案手法の性能を評価し、応用分野における頑健性を確認することを目的とする。
• NSCTベースの融合にWAMMを用いることで、ウェーブレットベースの融合よりも優れた視覚的品質とエッジ保持性を達成できることを示すこと

提案手法

• 提案手法は、非サブサンプリング・コンターlet変換（NSCT）ドメインにおいて、重み付き平均マージング法（WAMM）を統計的融合ルールとして適用する。
• NSCTを用いて入力画像を複数のサブバンドに分解し、ダウンサンプリングを伴わずに方向性および多スケール特徴を保持する。
• 局所的な画像特徴（分散やエネルギーなど）に基づく統計的重み付けを用いて、NSCT係数に融合ルールを適用する。
• 逆NSCTを用いて融合係数を再構成し、最終的な融合画像を生成する。
• 比較分析のため、同じ融合プロセスを離散ウェーブレット変換（DWT）ドメインでも繰り返す。
• 視覚的検査およびエッジ保持性や構造的類似度などの定量的指標を用いて、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 提案されたWAMM融合ルールは、NSCTドメインにおいて、エッジ保持性および視覚的品質の面で、既存の統計的融合ルールを上回っているか？
• RQ2 NSCTドメインにおけるWAMMの性能は、ウェーブレットドメインにおける性能と比較して、さまざまな画像タイプにおいてどのように異なるか？
• RQ3 NSCTベースの融合は、ウェーブレットベースの融合と比較して、構造的詳細の保持とアーチファクトの低減の面で、どの程度優れているか？
• RQ4 提案された融合ルールは、医用画像、リモートセンシング画像、マルチフォーカス画像を含む多様な画像融合シナリオを効果的に処理できるか？
• RQ5 同じ統計的融合ルールを用いた場合、NSCTドメインとウェーブレットドメインにおける融合品質の定量的差異は何か？

主な発見

• 視覚的および定量的分析により、NSCTドメインにおける提案されたWAMM融合ルールが、ウェーブレットドメインよりも優れたエッジ保持性を達成したことが確認された。
• NSCTドメインで生成された融合画像は、複雑なテクスチャーや微細な詳細において、より高い視覚的品質と構造的整合性を維持していた。
• 本手法は、医用画像、リモートセンシング画像、マルチフォーカス画像のすべてにおいて一貫した性能を示し、広範な応用可能性を示した。
• NSCTドメインにおける統計的融合ルールは、画像特徴の保持とアーチファクトの低減の面で、ウェーブレットドメインにおけるそれらを上回った。
• NSCTベースのアプローチは、より多くの高周波成分を保持し、ぼやけを低減することで、よりシャープな融合画像を生成した。
• 実験結果から、NSCTはシフト不変性と方向選択性を備えているため、DWTよりも画像融合に適していることが確認された。