[論文レビュー] MRFusion: A Deep Learning architecture to fuse PAN and MS imagery for land cover mapping

Raffaele Gaetano, Dino Ienco+2 more|arXiv (Cornell University)|Jun 29, 2018

Advanced Image Fusion Techniques被引用数 5

ひとこと要約

MRFusionは、事前のパンシャープニングやリサンプリングを経ずに、ネイティブ解像度のパンクロマチック（PAN）およびマルチスペクトル（MS）画像を直接使用して土地被覆を分類する、画期的なディーブラーニングアーキテクチャを提案する。エンド・ツー・エンドで訓練された二本のCNNフレームワークにより、空間的およびスペクトル的特徴を統合することで、特に水、都市部、森林といった困難なクラスの区別において、従来手法に比べて優れた分類精度と低減されたアーティファクトを達成した。

ABSTRACT

Nowadays, Earth Observation systems provide a multitude of heterogeneous remote sensing data. How to manage such richness leveraging its complementarity is a crucial chal- lenge in modern remote sensing analysis. Data Fusion techniques deal with this point proposing method to combine and exploit complementarity among the different data sensors. Considering optical Very High Spatial Resolution (VHSR) images, satellites obtain both Multi Spectral (MS) and panchro- matic (PAN) images at different spatial resolution. VHSR images are extensively exploited to produce land cover maps to deal with agricultural, ecological, and socioeconomic issues as well as assessing ecosystem status, monitoring biodiversity and provid- ing inputs to conceive food risk monitoring systems. Common techniques to produce land cover maps from such VHSR images typically opt for a prior pansharpening of the multi-resolution source for a full resolution processing. Here, we propose a new deep learning architecture to jointly use PAN and MS imagery for a direct classification without any prior image fusion or resampling process. By managing the spectral information at its native spatial resolution, our method, named MRFusion, aims at avoiding the possible infor- mation loss induced by pansharpening or any other hand-crafted preprocessing. Moreover, the proposed architecture is suitably designed to learn non-linear transformations of the sources with the explicit aim of taking as much as possible advantage of the complementarity of PAN and MS imagery. Experiments are carried out on two-real world scenarios depicting large areas with different land cover characteristics. The characteristics of the proposed scenarios underline the applicability and the generality of our method in operational settings.

研究の動機と目的

• 従来のパンシャープニングに基づくパイプラインが、統合プロセス中にアーティファクトを発生させたり情報損失を引き起こすという限界を是正すること。
• PANおよびMS画像をそのネイティブ空間解像度で統合的に処理するディープラーニングフレームワークを構築すること。
• 中間のリサンプリングやスケーリングを経由せずに、高解像度のパノラマおよびマルチスペクトルデータの補完的特徴を活用することで、分類精度を向上させること。
• 多様な土地被覆タイプにわたり、実世界のVHSRデータセットを用いたエンド・ツー・エンド学習の有効性を実証すること。

提案手法

• MRFusionは、二本のCNNから成る二本のブランチアーキテクチャを採用している。一方のブランチは高解像度のパノラマ（PAN）画像を処理し、もう一方は低解像度のマルチスペクトル（MS）画像を処理する。
• 各ブランチは、畳み込み層およびプーリング層を用いて階層的な空間的およびスペクトル的特徴を抽出し、入力データのネイティブ解像度を保持する。
• 両ブランチの特徴量は、後期統合段階で連結され、PANからの空間的詳細とMSからのスペクトル情報が統合される。
• モデルは、生の未処理のPANおよびMS入力を直接使用して、教師あり分類損失を用いてエンド・ツー・エンドで訓練される。
• アップサンプリングやパンシャープニングのステップを一切回避することで、前処理パイプラインで一般的に見られる放射能的不整合や情報損失を防止する。
• 入力源の非線形変換を明示的にモデル化することで、それらの補完的性質を最大限に活用する。

実験結果

リサーチクエスチョン

• RQ1 PANおよびMS画像を事前の統合やリサンプリングを経ずにネイティブ解像度で処理するディープラーニングモデルは、土地被覆分類性能を向上させることができるか？
• RQ2 パンシャープニングに依存する従来のパイプラインと比較して、ネイティブ解像度データ上でエンド・ツー・エンド学習を実施した場合、分類精度およびアーティファクト発生の観点でどのように差がつくか？
• RQ3 ネイティブスペクトルおよび空間解像度を保持することで、水、都市部、森林といった困難な土地被覆クラスの区別性能がどの程度向上するか？
• RQ4 中間のデータ変換を経由せずに、二本のCNNアーキテクチャが空間的およびスペクトル的情報を効果的に統合できるか、より強固で一貫性のある予測が得られるか？

主な発見

• MRFusionは、二つの実世界データセットにおいて、DMILおよびCNN_PSベースラインを上回る優れた定量的結果を達成した。
• 視覚的検査の結果、CNN_PSは「木の作物」クラスに水平方向のストライプアーティファクトを発生させており、これはパンシャープニング処理による放射能的不整合に起因すると考えられるが、MRFusionは同様のアーティファクトを示さなかった。
• レユニオン島データセットでは、MRFusionは水中のサンゴ礁を正しく「水」と分類したが、DMILおよびCNN_PSはこのクラスを「露出岩」や「都市部」と混同していた。
• 森林地域では、MRFusionはより空間的に均一で正確な分類結果を示したが、DMILおよびCNN_PSは「森林」と「サトウキツネ」や「果樹園」が混合したノイズの多い分類結果を示した。
• 都市部と水面上の混同がMRFusionにより低減され、CNN_PSが水のクラスを著しく過大予測するのに対し、MRFusionは水のクラスの過大予測が少なかった。
• ネイティブ解像度の空間的およびスペクトル的特徴を統合的に使用できる能力のおかげで、特に複雑な都市部および沿岸環境において、より一貫性があり正則化された空間的予測が得られ、クラス区別性能が向上した。