[論文レビュー] DeepMask: an algorithm for cloud and cloud shadow detection in optical satellite remote sensing images using deep residual network

Ke Xu, Kaiyu Guan+3 more|arXiv (Cornell University)|Nov 9, 2019

Remote Sensing in AgricultureEnvironmental Science参考文献 46被引用数 17

ひとこと要約

DeepMask は、光学衛星画像におけるピクセル単位のセグメンテーションを目的とした、残差畳み込みニューラルネットワーク（ResNet）を用いたディープラーニングベースのクラウドおよびクラウドシャドウ検出アルゴリズムである。Land types にかかわらず 93.56% の精度を達成し、CFMask（85.36%）を著しく上回る。4つのスペクトルバンドでの運用を可能としており、熱放射帯を搭載しない多様な衛星プラットフォームへの広範な適用性を有する。

ABSTRACT

Detecting and masking cloud and cloud shadow from satellite remote sensing images is a pervasive problem in the remote sensing community. Accurate and efficient detection of cloud and cloud shadow is an essential step to harness the value of remotely sensed data for almost all downstream analysis. DeepMask, a new algorithm for cloud and cloud shadow detection in optical satellite remote sensing imagery, is proposed in this study. DeepMask utilizes ResNet, a deep convolutional neural network, for pixel-level cloud mask generation. The algorithm is trained and evaluated on the Landsat 8 Cloud Cover Assessment Validation Dataset distributed across 8 different land types. Compared with CFMask, the most widely used cloud detection algorithm, land-type-specific DeepMask models achieve higher accuracy across all land types. The average accuracy is 93.56%, compared with 85.36% from CFMask. DeepMask also achieves 91.02% accuracy on all-land-type dataset. Compared with other CNN-based cloud mask algorithms, DeepMask benefits from the parsimonious architecture and the residual connection of ResNet. It is compatible with input of any size and shape. DeepMask still maintains high performance when using only red, green, blue, and NIR bands, indicating its potential to be applied to other satellite platforms that only have limited optical bands.

研究の動機と目的

• 光学衛星リモートセンシング画像における、高精度で自動化されたクラウドおよびクラウドシャドウ検出アルゴリズムの開発。
• 明るい表面や光学的に薄い雲に対処できない、しきい値ベースおよび従来の機械学習手法の限界を克服すること。
• ディープ畳み込みニューラルネットワークを活用し、空間的・テクスチャ的・スペクトル的特徴を捉えることで、検出性能の向上を図ること。
• さまざまな衛星プラットフォーム、特にスペクトルバンドが限られたものに対しても互換性を持つ、柔軟で効率的かつスケーラブルなアルゴリズムの構築。
• プレプロセッシングやポストプロセッシング手順への依存を低減しつつ、多様な土地被覆タイプにわたる高い精度と一般化性能を維持すること。

提案手法

• アルゴリズムは、クラウドおよびクラウドシャドウのエンドツーエンドのピクセル分類のため、深層残差ネットワーク（ResNet）をバックボーンとして使用する。
• 各中央ピクセルの周囲 15×15 ピクセルの局所領域を処理し、文脈的な空間的およびテクスチャ的情報を捉える。
• モデルは、8つの異なる土地被覆タイプをカバーする Landsat 8 クラウドカバレッジアセスメント（CCA）バリデーションデータセットを用いて学習される。
• 入力画像は任意のサイズおよび形状が可能であり、さまざまな衛星データ形式への柔軟な展開を可能にする。
• アルゴリズムは熱帯バンドや固定サイズの入力を必要とせず、多様な光学センサーとの互換性を高める。
• 精度と再現率のバランスを図るため、信頼度しきい値を調整することでパフォーマンスを最適化し、ユーザーが定義可能なトレードオフを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのアプローチは、CFMask などの従来のしきい値ベースのクラウド検出手法に比べ、精度と頑健性の面で優れているか？
• RQ2 土地被覆タイプに特化したチューニングなしに、ResNet を用いたモデルが多様な土地被覆タイプにどの程度一般化できるか？
• RQ3 4つのスペクトルバンド（RGB および NIR）でのみ使用した場合、アルゴリズムの性能はどの程度で、スペクトル能力が限られた衛星に対しても適用可能か？
• RQ4 スーパーピクセルセグメンテーションやモルフォロジカルフィルタリングなどのプレプロセッシング・ポストプロセッシング手順を必要としない場合でも、モデルは高い性能を維持できるか？
• RQ5 雪/氷、明るい表面、光学的に薄い雲といった、既存のアルゴリズムが混乱しやすい困難なケースに対して、モデルはどのように対処できるか？

主な発見

• 土地被覆タイプに特化した DeepMask モデルは、全8種類の土地被覆タイプで平均 93.56% の精度を達成し、CFMask の 85.36% を著しく上回る。
• 全土地被覆タイプをカバーする DeepMask モデルは 91.02% の精度を達成し、依然として CFMask の性能を大きく上回る。
• DeepMask は、赤、緑、青、NIR の4つのスペクトルバンドでのみ学習させても高い精度を維持しており、熱帯バンドを搭載しないプラットフォームへの応用可能性が強く示唆される。
• スペクトルバンドを削除してもパフォーマンスの低下が最小限に抑えられ、入力の多様性に対して強い耐性を示す。
• DeepMask は、CFMask がしばしば失敗する雪/氷やその他の明るい表面とクラウド・シャドウを効果的に区別する。
• 局所領域ベースの推論メカニズムにより、固定サイズの入力や複雑なプレプロセッシング・ポストプロセッシングパイプラインを必要とせず、高い精度を実現している。