[論文レビュー] Remote Sensing Image Fusion Based on Two-stream Fusion Network

Xiangyu Liu, Qingjie Liu+1 more|arXiv (Cornell University)|Nov 7, 2017

Advanced Image Fusion Techniques参考文献 5被引用数 9

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）ベースのエンコーダ・デコーダアーキテクチャを用いて、パンクロマチック（PAN）画像とマルチスプライタル（MS）画像を特徴レベルで統合することで、リモートセンシング画像の融合を実現する2ストリーム統合ネットワーク（TFNet）を提案する。この手法は、ℓ₁損失関数とリーマンス学習を用いることで、QuickBirdおよびGaoFeng-1データセットにおいて、スペクトル歪みを顕著に低減し、空間的詳細の保持を向上させ、最先端の性能を達成した。

ABSTRACT

Remote sensing image fusion (also known as pan-sharpening) aims at generating high resolution multi-spectral (MS) image from inputs of a high spatial resolution single band panchromatic (PAN) image and a low spatial resolution multi-spectral image. Inspired by the astounding achievements of convolutional neural networks (CNNs) in a variety of computer vision tasks, in this paper, we propose a two-stream fusion network (TFNet) to address the problem of pan-sharpening. Unlike previous CNN based methods that consider pan-sharpening as a super resolution problem and perform pan-sharpening in pixel level, the proposed TFNet aims to fuse PAN and MS images in feature level and reconstruct the pan-sharpened image from the fused features. The TFNet mainly consists of three parts. The first part is comprised of two networks extracting features from PAN and MS images, respectively. The subsequent network fuses them together to form compact features that represent both spatial and spectral information of PAN and MS images, simultaneously. Finally, the desired high spatial resolution MS image is recovered from the fused features through an image reconstruction network. Experiments on Quickbird and \mbox{GaoFen-1} satellite images demonstrate that the proposed TFNet can fuse PAN and MS images, effectively, and produce pan-sharpened images competitive with even superior to state of the arts.

研究の動機と目的

• スーパーレゾリューションの枠組みに依存するピクセルレベルのパンシャープニング手法の限界を解消すること。
• ピクセルレベルではなく特徴レベルでPANとMS画像を統合することで、パンシャープニングの性能を向上させること。
• スペクトル歪みの低減と空間的詳細の強化に、ℓ₁損失とリーマンス学習の有効性を検証すること。
• スペクトル的および空間的情報のより良い保持を実現する、柔軟でエンドツーエンドの深層学習フレームワークを構築すること。

提案手法

• 本手法は、PANおよびMS画像のための分離されたエンコーダを備えた2ストリームCNNアーキテクチャを採用し、階層的特徴を抽出する。
• PANおよびMSストリームからの特徴が共有の統合ネットワークで統合され、空間的およびスペクトル的コンテンツのコンactな統合表現が生成される。
• トランスポーズ畳み込みを用いて、統合された特徴から高分解能マルチスプライタル画像が再構成されるデコーダネットワークが構築される。
• ネットワークはℓ₁損失関数で訓練され、再構成アーチファクトの低減において標準的なℓ₂損失よりも優れた性能を示す。
• 特に深層アーキテクチャにおいて特徴学習を安定化・向上させるために、リーマンス学習ブロックがネットワークに組み込まれる。
• フレームワークはエンドツーエンドで学習可能であり、適応的学習率を用いた確率的勾配降下法で最適化される。

実験結果

リサーチクエスチョン

• RQ1 深層CNNアーキテクチャにおける特徴レベル統合が、ピクセルレベルのスーパーレゾリューションに基づくパンシャープニング手法を上回ることができるか？
• RQ2 ℓ₂損失の代わりにℓ₁損失を使用することで、スペクトル忠実度および空間的詳細の観点から、パンシャープニング画像の品質が向上するか？
• RQ3 リーマンス学習が、リモートセンシング画像融合における2ストリーム統合ネットワークの性能にどの程度寄与するか？
• RQ4 実衛星データにおける定量的指標（SAM、CC、ERGAS）の観点から、本手法は最先端の手法と比較してどの程度優れているか？

主な発見

• ℓ₁損失を用いた提案手法TFNetは、QuickBirdおよびGaoFen-1データセットの全指標で最良の結果を達成し、SAMが4.6811、ERGASが3.9117を記録した。
• ResTFNet-ℓ₁バージョンはさらなる性能向上を達成し、SAMが4.5149、ERGASが3.6931を記録し、スペクトル歪みの低減が確認された。
• 視覚的分析により、本手法が微細な空間的詳細を保持し、色アーチファクトを最小限に抑えることができ、IHS、ATWT_M3、PNNを上回る視覚的品質を示した。
• 従来の手法（AWLPおよびBDSD）と比較して、ぼやけやスペクトル歪みが顕著に低減された。
• ℓ₁損失の使用により、ℓ₂損失に比べてエッジがよりシャープに、高周波成分の再構成がより良好になった。
• リーマンス学習は、特に微細なスペクトル変動の保持において、より安定した学習と性能向上に寄与した。