[論文レビュー] Pansharpening via Detail Injection Based Convolutional Neural Networks

Lin He, Yizhou Rao+3 more|arXiv (Cornell University)|Jun 23, 2018

Advanced Image Fusion Techniques参考文献 5被引用数 10

ひとこと要約

本稿では、パンシャープニングのための詳細注入ベースの畳み込みニューラルネットワーク（DiCNN）フレームワークを提案する。マルチスペクトル（MS）の詳細は、2つのネットワークを通じてエンドツーエンドで明示的に学習される。DiCNN1はパン（PAN）画像とMS画像の両方を用いてMSの詳細を抽出するが、DiCNN2はPAN画像にのみ依存する。本手法は、高速な収束性と優れた転移学習能力を備え、複数のデータセットにおいて既存のCNNベースの手法を上回るスペクトル忠実度と空間正確性を達成した。

ABSTRACT

Pansharpening aims to fuse a multispectral (MS) image with an associated panchromatic (PAN) image, producing a composite image with the spectral resolution of the former and the spatial resolution of the latter. Traditional pansharpening methods can be ascribed to a unified detail injection context, which views the injected MS details as the integration of PAN details and band-wise injection gains. In this work, we design a detail injection based CNN (DiCNN) framework for pansharpening, with the MS details being directly formulated in end-to-end manners, where the first detail injection based CNN (DiCNN1) mines MS details through the PAN image and the MS image, and the second one (DiCNN2) utilizes only the PAN image. The main advantage of the proposed DiCNNs is that they provide explicit physical interpretations and can achieve fast convergence while achieving high pansharpening quality. Furthermore, the effectiveness of the proposed approaches is also analyzed from a relatively theoretical point of view. Our methods are evaluated via experiments on real-world MS image datasets, achieving excellent performance when compared to other state-of-the-art methods.

研究の動機と目的

• 従来のパンシャープニング手法におけるスペクトル歪みと収束性の悪さを解消するため、タスクを統一的な詳細注入フレームワークの観点から再解釈すること。
• ブラックボックス学習を回避する明示的な物理的解釈を備えたCNNベースのパンシャープニング手法を設計すること。
• PANおよびMS画像から直接エンドツーエンドでMSの詳細を学習することで、収束速度の向上とパンシャープニング品質の向上を図ること。
• MSバンド数が変化する場合でも、効率的なファインチューニングにより転移学習を可能にし、トレーニング時間と計算コストを削減すること。
• 実世界のデータセットにおいて、最先端のCNNベースおよび古典的手法と比較して本手法の優位性を検証すること。

提案手法

• 本手法は、MSの詳細をエンドツーエンドで学習する詳細注入問題としてパンシャープニングを定式化する。2つの専用CNN、DiCNN1とDiCNN2を用いる。
• DiCNN1はPAN画像と低解像度MS（LRMS）画像を共同処理することで、空間的およびスペクトル的情報の相互作用をモデル化し、MSの詳細を抽出する。
• DiCNN2はPAN画像のみを用いてMSの詳細を学習し、複雑さを低減し、より高速な推論とファインチューニングを可能にする。
• PANの詳細とバンド別インジェクションゲインの物理的関係を明示的にモデル化することで、解釈可能性を向上させ、スペクトル歪みを低減する。
• ネットワークは、高解像度MS（HRMS）画像からのスペクトル的および空間的差違を最小化する損失関数を用いてエンドツーエンドでトレーニングされる。
• 事前学習後に最終全結合層のみをファインチューニングすることで、転移学習が可能となり、新しいバンド構成に対するトレーニング時間が著しく短縮される。

実験結果

リサーチクエスチョン

• RQ1 詳細注入ベースのCNNフレームワークは、既存のCNNベースおよび古典的手法よりも優れたパンシャープニング性能を達成できるか？
• RQ2 MSの詳細をエンドツーエンドで学習することで、従来手法と比較して収束速度が向上し、スペクトル歪みが低減するか？
• RQ3 DiCNN2は、効率的なファインチューニングにより、異なるMSバンド数に対しても高い性能を維持できるか。これにより、転移学習能力が裏付けられるか？
• RQ4 DiCNNにおける詳細注入の明示的物理的モデリングは、ブラックボックス学習と比較して、解釈可能性と正確性の面で優れているか？
• RQ5 提案されたDiCNNフレームワークにおいて、性能、トレーニング時間、バンド構成の変更に対するロバストネスの間のトレードオフは何か？

主な発見

• WorldView-2ワシントンデータセットにおいて、DiCNN1はQ4（0.9497）、SAM（2.8630）、ERGAS（2.3080）、SCC（0.9407）の最高スコアを達成し、PNN、DRPNN、DiCNN2を上回った。
• 同じデータセットにおいて、DiCNN2はCNNベースの手法の中で最も短いトレーニング時間（173秒）を記録し、最も遅い手法（DRPNN：360秒）の半分未満であった。
• 3バンドのIKONOSデータセットでは、DiCNN2がQ4（0.8986）、SAM（2.0317）で最高で、SCC（0.9181）でも最高を記録し、PNNおよびDRPNNを上回った。
• DiCNN2は強力な転移学習能力を示し、事前学習後に最終層のファインチューニングにたった10,000イテレーションで十分であり、バンド数の変更に対しても性能劣化が最小限に抑えられた。
• 視覚的結果では、DiCNN1およびDiCNN2はPNNおよびDRPNNと比較して、特にエッジ領域でよりシャープでリバーブアーチファクトの少ない画像を生成した。
• 本手法は優れたスペクトル保持性を達成し、全テストデータセットでSAM値が3.0°未満であった。これは、最小限のスペクトル歪みを示している。