[論文レビュー] Convolutional LSTMs for Cloud-Robust Segmentation of Remote Sensing Imagery

Marc Rußwurm, Marco Körner|arXiv (Cornell University)|Oct 28, 2018

Remote Sensing in Agriculture参考文献 10被引用数 31

ひとこと要約

本論文では、明示的な雲マスク処理を伴わずに、リモートセンシング画像における雲耐性のセマンティックセグメンテーションを達成するために、畳み込み長短期記憶（ConvLSTM）ネットワークの使用を提案する。雲カバレッジを内在的なノイズとみなすことにより、モデルは内部のゲーティング機構を通じて雲に影響を受ける特徴を抑制する学習を遂げ、重度に曇りの強いシーケンスに対しても最先端の精度を達成する。これは、リモートセンシングにおける時系列的ディープラーニングにおいて、複雑な事前処理パイプラインが必ずしも不要であることを示している。

ABSTRACT

Clouds frequently cover the Earth's surface and pose an omnipresent challenge to optical Earth observation methods. The vast majority of remote sensing approaches either selectively choose single cloud-free observations or employ a pre-classification strategy to identify and mask cloudy pixels. We follow a different strategy and treat cloud coverage as noise that is inherent to the observed satellite data. In prior work, we directly employed a straightforward \emph{convolutional long short-term memory} network for vegetation classification without explicit cloud filtering and achieved state-of-the-art classification accuracies. In this work, we investigate this cloud-robustness further by visualizing internal cell activations and performing an ablation experiment on datasets of different cloud coverage. In the visualizations of network states, we identified some cells in which modulation and input gates closed on cloudy pixels. This indicates that the network has internalized a cloud-filtering mechanism without being specifically trained on cloud labels. Overall, our results question the necessity of sophisticated pre-processing pipelines for multi-temporal deep learning approaches.

研究の動機と目的

• ディープラーニングモデルが、明示的な雲マスク処理なしに、時系列的リモートセンシング画像における雲ノイズを内因的に処理できるかどうかを調査すること。
• 人工知能ネットワークが、衛星画像シーケンスにおけるさまざまな雲カバレッジ度合いに対して、どの程度耐性を示すかを評価すること。
• 光学地球観測における正確なセマンティックセグメンテーションのため、雲の事前分類が必須かどうかを特定すること。
• 内部LSTMセル状態を可視化し、分析することで、ネットワークがどのように雲関連のノイズをフィルタリングするかを理解すること。
• 複雑な事前処理パイプラインが、雲耐性のリモートセンシングセグメンテーションに不可欠であるという一般的な仮定に疑問を呈すること。

提案手法

• 2段階のConvLSTMアーキテクチャを用い、入力画像シーケンスがLSTMエンコーダーを介して逐次処理され、空間的・時間的特徴が抽出される。
• 標準的なLSTMコンponents（忘却ゲート、入力ゲート、出力ゲート）を採用し、空間的および時間的次元に畳み込み演算を適用する。
• 最終時刻での内部セル状態テンソル $\boldsymbol{c}_T$ が、シーケンス全体から長期間にわたる分類に有用な特徴を捉える。
• 最終的な畳み込み層により特徴次元がセマンティッククラス数に削減され、ピクセル単位のセグメンテーションが可能になる。
• モデルは、曇りあり・曇りなしの両方の観測を含む、フィルタリングされていない生の画像シーケンス上でエンドツーエンドに訓練される。
• 耐性評価のため、雲カバレッジ比が異なるサブサンプルデータセット（0%、10%、25%、50%、100%）を用いたアブレーション実験が実施される。

実験結果

リサーチクエスチョン

• RQ1 ConvLSTMネットワークは、明示的な雲フィルタリングや事前処理なしに、リモートセンシング画像で高いセグメンテーション精度を達成できるか？
• RQ2 雲固有のラベルが与えられていない状態でも、内部LSTMゲートが自動的に雲に影響を受ける特徴を抑制する学習を遂げられるか？
• RQ3 雲カバレッジの異なるデータセット（完全に曇りのないものから完全に曇りの強いものまで）で学習した場合、性能にどのような差が生じるか？
• RQ4 シーケンス長と雲カバレッジの間に、モデル精度に影響を及ぼすトレードオフの関係があるか？
• RQ5 多様な雲状態にわたって一般化性能が高く保たれるか。これは、時間的ノイズに対して内因的耐性を有していることを示唆するか？

主な発見

• 本モデルは、いかなる明示的な雲フィルタリングや事前処理を伴わず、植生セグメンテーションで最先端の分類精度を達成した。
• 内部LSTM状態の可視化により、入力ゲートおよびモodulationゲートが雲に影響を受けるピクセルを能動的に抑制していることが判明し、内部的な雲フィルタリング行動が示された。
• 特定の時刻ステップにおいて、曇りの強いピクセルでは忘却ゲートおよび入力ゲートの値がゼロに近づく傾向が見られ、ノイズの強い入力を選択的に抑制していることが示唆された。
• 雲カバレッジが異なるデータセットに対しても、モデルは一貫した性能を維持しており、100%の雲カバレッジを含むデータセットに対しても同様に高い性能を示した。
• 完全に曇りのないシーケンスではやや性能が劣ったが、これは一部の雲なし観測が重要な現象的イベントを逃している可能性を示唆している。
• 結果は、手作業による事前処理パイプラインの必要性を疑問視するものであり、ConvLSTMを用いたエンドツーエンド学習が、雲ノイズを内因的に処理できることを示している。