[論文レビュー] Panchromatic and Multispectral Image Fusion via Alternating Reverse Filtering Network

Keyu Yan, Man Zhou+5 more|arXiv (Cornell University)|Oct 15, 2022

Advanced Image Fusion Techniques被引用数 8

ひとこと要約

本稿では、パンクロマチックおよびマルチスペクトル画像融合のための交互逆フィルタリングネットワークを提案し、事前定義された事前分布に依存せずに、解釈可能な反復的逆フィルタリングプロセスとしてパンシャープニングを定式化する。学習可能なマルチスケールガウスカーネルモジュールを導入することで収束を保証する収縮写像を用いることで、模擬的および実世界のデータセットの両方で最先端の性能を達成し、PSNR、SSIM、スペクトル忠実度の指標において既存手法を上回る。

ABSTRACT

Panchromatic (PAN) and multi-spectral (MS) image fusion, named Pan-sharpening, refers to super-resolve the low-resolution (LR) multi-spectral (MS) images in the spatial domain to generate the expected high-resolution (HR) MS images, conditioning on the corresponding high-resolution PAN images. In this paper, we present a simple yet effective extit{alternating reverse filtering network} for pan-sharpening. Inspired by the classical reverse filtering that reverses images to the status before filtering, we formulate pan-sharpening as an alternately iterative reverse filtering process, which fuses LR MS and HR MS in an interpretable manner. Different from existing model-driven methods that require well-designed priors and degradation assumptions, the reverse filtering process avoids the dependency on pre-defined exact priors. To guarantee the stability and convergence of the iterative process via contraction mapping on a metric space, we develop the learnable multi-scale Gaussian kernel module, instead of using specific filters. We demonstrate the theoretical feasibility of such formulations. Extensive experiments on diverse scenes to thoroughly verify the performance of our method, significantly outperforming the state of the arts.

研究の動機と目的

• 従来のパンシャープニング手法が厳密な劣化仮定と事前定義された事前分布に依存するという限界を解消すること。
• 手作業で設計された事前分布に依存しない、解釈可能なディープラーニングベースの統合フレームワークを開発すること。
• 学習可能なマルチスケールガウスカーネルモジュールを用いて、度々の統合プロセスの収束性と安定性を保証すること。
• 模擬的および実世界のパンシャープニングベンチマークにおいて、既存の最先端手法を上回ること。

提案手法

• 古典的な逆フィルタリングにインspiredして、高分解能マルチスペクトル画像の再構成を目的とした、交互に繰り返す逆フィルタリングプロセスとしてパンシャープニングを定式化する。
• 逆フィルタリングプロセスを深層ネットワークアーキテクチャにアンロールし、明示的な事前仮定なしにエンドツーエンド学習を可能にする。
• 固定フィルタの代わりに、メトリック空間における収縮写像による収束を保証する学習可能なマルチスケールガウスカーネルモジュールを導入する。
• 度々のプロセスの安定性と収束性を保証するため、メトリック空間に基づく最適化フレームワークを採用する。
• 低分解能マルチスペクトルと高分解能マルチスペクトル推定値の間を交互に更新するマルチステージネットワークを採用する。
• 訓練および評価に、模擬的および実世界のデータセットを併用し、カーネルサイズと反復回数に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 事前定義された劣化モデルや事前分布に依存せずに、パンシャープニングを効果的に反復的逆フィルタリングプロセスとして定式化できるか？
• RQ2 画像統合のための反復的ディープラーニングフレームワークにおいて、収束性と安定性をどのように確保できるか？
• RQ3 理論的収束性を維持しつつ、高い性能を達成できる最適な学習可能なフィルタモジュールの設計は何か？
• RQ4 スペクトル忠実度および空間的忠実度の観点から、提案手法は最先端手法をどのように上回るか？
• RQ5 カーネルサイズと反復回数が最終的な統合品質に与える影響は何か？

主な発見

• 提案手法は、WorldView-IIデータセットでPSNR 41.7587を達成し、従来の最先端手法を顕著に上回った。
• SSIMは0.9691に向上し、SAMは0.0229に低下し、構造的およびスペクトル的再現性の優位性が示された。
• アブレーションスタディの結果、最大カーネルサイズMを1から17に増加させることで、PSNRが39.7820から41.7587に向上した。これはマルチスケールカーネル設計の有効性を示している。
• 最適な反復回数Kは5と特定され、性能と計算コストのバランスが取れていることがわかった。
• 学習されたカーネルは、ランダム初期化およびガウス初期化のカーネルを上回り、フィルタパラメータのエンドツーエンド最適化の利点が裏付けられた。
• WorldView-IIデータセットではQNR 0.8285を達成し、全体的な画像品質と忠実度の高さが示された。