[論文レビュー] Deep learning based cloud detection for remote sensing images by the fusion of multi-scale convolutional features.

Zhiwei Li, Huanfeng Shen+4 more|arXiv (Cornell University)|Oct 13, 2018

Remote-Sensing Image Classification被引用数 5

ひとこと要約

本論文では、エンコーダ・デコーダアーキテクチャと独自の特徴マッピング融合モジュールを備えた、マルチスケール畳み込み特徴を統合する深層学習ベースの雲検出手法MSCFFを提案する。本手法は、0.5–50 m解像度の多様な光学衛星画像において、明るい表面でも優れた精度を達成し、ルールベース手法および最先端の深層学習手法を凌駕する。

ABSTRACT

Cloud detection is an important preprocessing step for the precise application of optical satellite imagery. In this paper, we propose a deep convolutional neural network based cloud detection method named multi-scale convolutional feature fusion (MSCFF) for remote sensing images. In the network architecture of MSCFF, the encoder and corresponding decoder modules, which provide both local and global context by densifying feature maps with trainable filter banks, are utilized to extract multi-scale and high-level spatial features. The feature maps of multiple scales are then up-sampled and concatenated, and a novel MSCFF module is designed to fuse the features of different scales for the output. The output feature maps of the network are regarded as probability maps, and fed to a binary classifier for the final pixel-wise cloud and cloud shadow segmentation. The MSCFF method was validated on hundreds of globally distributed optical satellite images, with spatial resolutions ranging from 0.5 to 50 m, including Landsat-5/7/8, Gaofen-1/2/4, Sentinel-2, Ziyuan-3, CBERS-04, Huanjing-1, and collected high-resolution images exported from Google Earth. The experimental results indicate that MSCFF has obvious advantages over the traditional rule-based cloud detection methods and the state-of-the-art deep learning models in terms of accuracy, especially in bright surface covered areas. The effectiveness of MSCFF means that it has great promise for the practical application of cloud detection for multiple types of satellite imagery. Our established global high-resolution cloud detection validation dataset has been made available online.

研究の動機と目的

• 異なる表面タイプにわたる光学衛星画像における正確な雲および雲の影の検出の課題に対処すること。
• 従来の手法がしばしば失敗する明るい表面領域における雲検出性能の向上。
• 複数の衛星センサーおよび多様な空間解像度に適応可能な、堅牢でエンドツーエンドの深層学習フレームワークの開発。
• 雲検出研究のためのグローバルに代表的な高解像度の検証データセットの構築。

提案手法

• MSCFFネットワークは、トレーニング可能なフィルターバンクを備えたエンコーダ・デコーダアーキテクチャを採用し、マルチスケールの高レベル空間的特徴を抽出する。
• 複数スケールからの特徴マップはアップサンプリングされ、その後、新規のマルチスケール畳み込み特徴融合（MSCFF）モジュールに連結処理される。
• MSCFFモジュールは、学習可能なフィルタを用いてスケール間の特徴を統合し、局所的およびグローバルな文脈表現を強化する。
• 最終的な出力特徴マップは確率マップとして扱われ、ピクセル単位の雲および雲の影セグメンテーションのためのバイナリ分類器に渡される。
• ネットワークは、複数のセンサーからのグローバルに分散した光学衛星画像の大規模データセット上でエンドツーエンドにトレーニングされる。
• モデルは、Landsat、Gaofen、Sentinel-2、Ziyuan-3、CBERS-04、Huanjing-1、およびGoogle Earthの画像を用いて評価され、空間解像度は0.5–50 mをカバーする。

実験結果

リサーチクエスチョン

• RQ1 空間解像度が異なる多様な光学衛星センサーに対応する深層学習モデルは、雲および雲の影を効果的に検出できるか？
• RQ2 提案されたマルチスケール特徴融合機構は、既存手法と比較して検出精度をどのように向上させるか？
• RQ3 明るい表面条件下では、従来のルールベース手法に比べて、本モデルはどの程度優れた性能を示すか？
• RQ4 本モデルは、グローバルな衛星画像における異なる表面タイプおよび大気条件に一般化できるか？
• RQ5 提案された特徴融合モジュールは、特徴表現およびセグメンテーション性能にどのような影響を与えるか？

主な発見

• MSCFFは、特に明るい表面領域において、従来のルールベースの雲検出手法よりも顕著に高い精度を達成する。
• テストされたすべての衛星センサーにおいて、本モデルは最先端の深層学習モデルを上回る雲および雲の影セグメンテーション性能を示す。
• マルチスケール特徴融合機構により、局所的およびグローバルな文脈情報が強化され、特徴表現とセグメンテーション精度が向上する。
• 本モデルは、空間解像度（0.5–50 m）およびセンサータイプの多様性にわたって優れた一般化能力を示す。
• 研究者らは、今後の研究を支援するため、グローバルに代表的な高解像度の雲検出検証データセットを公開した。