[論文レビュー] Cloud Detection Algorithm for Remote Sensing Images Using Fully Convolutional Neural Networks

Sorour Mohajerani, Thomas A. Krammer+1 more|arXiv (Cornell University)|Oct 12, 2018

Remote Sensing in Agriculture被引用数 5

ひとこと要約

本稿では、RGBNirの4つのスペクトルバンドのみを用いて、勾配に基づく雪/氷除去技術で不正確な正例を是正する、完全畳み込みニューラルネットワーク（FCN）に基づくリモートセンシング画像の雲検出手法を提案する。この手法は、元のデータを用いたベースラインの深層学習モデルと比較して、Jaccard指数と再現率をそれぞれ4.36%および3.62%向上させる。

ABSTRACT

This paper presents a deep-learning based framework for addressing the problem of accurate cloud detection in remote sensing images. This framework benefits from a Fully Convolutional Neural Network (FCN), which is capable of pixel-level labeling of cloud regions in a Landsat 8 image. Also, a gradient-based identification approach is proposed to identify and exclude regions of snow/ice in the ground truths of the training set. We show that using the hybrid of the two methods (threshold-based and deep-learning) improves the performance of the cloud identification process without the need to manually correct automatically generated ground truths. In average the Jaccard index and recall measure are improved by 4.36% and 3.62%, respectively.

研究の動機と目的

• 雪や氷が雲と誤分類されることによるリモートセンシング画像における不正確な雲検出の課題に対処すること。
• 限られたスペクトルデータを持つ衛星に広く適用可能な、4つのスペクトルバンド（RGBNir）のみを用いた、ピクセル単位の雲セグメンテーションを可能にする深層学習フレームワークの開発。
• 雪/氷領域の自動特定と除去によって、デフォルトの正例を是正し、雲検出性能の向上。
• リモートセンシングにおける雲検出のための公開可能で正確にアノテートされたデータセットの作成。
• 雪と雲が混在する複雑なシーンにおいて、ハイブリッドしきい値処理と深層学習が、純粋な深層学習やしきい値処理よりも優れた性能を示すことを実証すること。

提案手法

• U-Netに類似した完全畳み込みニューラルネットワーク（FCN）を、Landsat 8画像の$384 \times 384$のクロップ領域を用いて、RGBNirバンドを入力として学習。
• エンコーダーとデコーダーのブロック間のスキップ接続を採用し、空間的詳細の保持とセグメンテーション精度の向上を図る。
• 学習の前に、デフォルトの正例から雪/氷領域を同定し、除外するための勾配に基づくしきい値処理を適用。
• 初期学習率$10^{-4}$を用い、600エポックにわたり学習を実施。損失関数にはバイナリクロスエントロピー、最適化手法にはAdamを採用。
• 推論時、テスト画像を重複のない$384 \times 384$のパッチに分割し、サイズを$192 \times 192$にリサイズしてネットワークに通し、再び合成してフル解像度の雲確率マップを作成。
• 最終段階でしきい値処理を実施し、確率マップを二値化した雲マスクに変換。

実験結果

リサーチクエスチョン

• RQ1 限られたスペクトルバンド（RGBNir）で学習された完全畳み込みニューラルネットワークは、リモートセンシング画像において正確なピクセル単位の雲検出を達成できるか？
• RQ2 雪/氷領域を除去することでデフォルトの正例を是正することにより、深層学習ベースの雲検出モデルの性能にどのような影響を与えるか？
• RQ3 しきい値処理による雪/氷検出と深層学習を組み合わせることで、是正されていない正例と比較して、Jaccard指数と再現率はどの程度向上するか？
• RQ4 提案手法は、4つのスペクトルバンドでのみ動作する衛星や航空機搭載システムに一般化可能か？
• RQ5 FCNアーキテクチャによるグローバルおよびローカルなコンテキストの統合は、雲と雪/氷が混在するシーンにおける雲検出のロバスト性を向上させるか？

主な発見

• 雪/氷補正済みの正例を用いることで、元の正例と比較してJaccard指数が4.36%向上した。
• 正例が是正されたことで再現率が3.62%向上し、真の雲ピクセルの検出が向上した。
• 正確性（precision）は1.30%向上し、雪/氷補正により誤検出（偽陽性）が減少した。
• 全体の正答率は、是正済みの学習データを用いることで0.56%向上した。
• 図3の可視化結果から、雪や氷の領域における偽陽性の低減が有効に実現されていることが確認された。
• 本研究で使用されたデータセット（手動で是正された正例を備える）は、要請に応じて公開可能である。