[論文レビュー] A Multi-Scale and Multi-Depth Convolutional Neural Network for Remote Sensing Imagery Pan-Sharpening

Qiangqiang Yuan, Yancong Wei+3 more|arXiv (Cornell University)|Dec 28, 2017

Advanced Image Fusion Techniques参考文献 4被引用数 12

ひとこと要約

本論文は、マルチスケール特徴抽出とリーマン学習を活用して、パンクロマチックデータを用いてマルチスペクトル画像の空間分解能を向上させる、マルチスケールかつマルチデプスの畳み込みニューラルネットワーク（MSDCNN）を提案する。この手法は、ベンチマークデータセットにおいて、定量的指標および視覚的品質の両面で、最先端の手法を上回る優れた性能を達成している。

ABSTRACT

Pan-sharpening is a fundamental and significant task in the field of remote sensing imagery processing, in which high-resolution spatial details from panchromatic images are employed to enhance the spatial resolution of multi-spectral (MS) images. As the transformation from low spatial resolution MS image to high-resolution MS image is complex and highly non-linear, inspired by the powerful representation for non-linear relationships of deep neural networks, we introduce multi-scale feature extraction and residual learning into the basic convolutional neural network (CNN) architecture and propose the multi-scale and multi-depth convolutional neural network (MSDCNN) for the pan-sharpening of remote sensing imagery. Both the quantitative assessment results and the visual assessment confirm that the proposed network yields high-resolution MS images that are superior to the images produced by the compared state-of-the-art methods.

研究の動機と目的

• パンシャープニングにおける複雑で非線形な変換を扱うため。
• 高分解能のパンクロマチック画像と統合することで、マルチスペクトル画像の忠実性と空間分解能を向上させるため。
• マルチスケールの空間特徴を効果的に捉え、再構成を向上させるためのリーマンマッピングを学習する深層学習アーキテクチャを開発するため。
• 定量的および定性的なパンシャープニング性能の両面で、既存の最先端手法を上回るため。

提案手法

• 提案されたMSDCNNは、異なる受容野で空間的詳細を捉えるためのマルチスケール特徴抽出を統合している。
• 訓練の安定化と勾配の流れの改善のため、ネットワークアーキテクチャにリーマン学習を組み込んでいる。
• スタックされた畳み込みブロックを用いたマルチデプス設計により、複数のレイヤーにわたる階層的特徴をモデル化している。
• 低レベル特徴を保持し、エンドツーエンドの訓練を促進するため、スキップ接続機構を用いている。
• 予測された高分解能マルチスペクトル画像と真値の間の再構成誤差を最小化する損失関数を用いて、エンドツーエンドでモデルを訓練している。
• 入力として低分解能マルチスペクトル画像と高分解能パンクロマチック画像を有するため、パンシャープニングタスクに特化したアーキテクチャとなっている。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークは、パンシャープニングにおいて、低分解能マルチスペクトル画像と高分解能マルチスペクトル画像の間の非線形マッピングを効果的にモデル化できるか？
• RQ2 マルチスケール特徴抽出は、パンシャープニング画像における空間的詳細の表現をどのように向上させるか？
• RQ3 リーマン学習は、遠隔センシングのパンシャープニングの文脈において、訓練の安定性と再構成精度をどの程度向上させるか？
• RQ4 提案されたマルチデプスアーキテクチャは、既存の浅いまたは単一スケールのCNNと比較して、パンシャープニングタスクでより優れたパフォーマンスを発揮するか？

主な発見

• 提案されたMSDCNNは、ベンチマークデータセットで優れた定量的パフォーマンスを達成しており、PSNRおよびSAM指標において、既存の最先端手法を上回っている。
• 視覚的評価により、再構成されたマルチスペクトル画像が、スペクトルの忠実性を保ちつつ、空間的詳細を強化していることが確認された。
• マルチスケールおよびマルチデプス設計により、単一スケールアプローチと比較して、微細なテクスチャーや構造的特徴をより効果的に捉えることができるようになった。
• リーマン学習により、訓練収束が著しく改善され、最終的な再構成品質が向上し、出力画像のアーティファクトが減少した。
• 本手法は、多様な遠隔センシングのシーンおよびセンサ構成に対して、強固であることが示された。