[論文レビュー] Model Generalization in Deep Learning Applications for Land Cover Mapping

Lucas ZhongMing Hu, Caleb Robinson+1 more|arXiv (Cornell University)|Aug 9, 2020

Remote-Sensing Image Classification参考文献 7被引用数 4

ひとこと要約

本稿は、SEN12MSデータセットを用いて、異なる大陸および季節における土地被覆マッピングにおける深層学習モデルの一般化限界を調査する。モデルが1つの大陸や季節で学習された場合、景観の分布シフトのため他の大陸や季節ではしばしば失敗することを示し、スペクトルバンドごとに衛星画像をクラスタリングすることで、一般化が悪い原因となる地域固有の視覚的パターンを同定する手法を提案する。

ABSTRACT

Recent work has shown that deep learning models can be used to classify land-use data from geospatial satellite imagery. We show that when these deep learning models are trained on data from specific continents/seasons, there is a high degree of variability in model performance on out-of-sample continents/seasons. This suggests that just because a model accurately predicts land-use classes in one continent or season does not mean that the model will accurately predict land-use classes in a different continent or season. We then use clustering techniques on satellite imagery from different continents to visualize the differences in landscapes that make geospatial generalization particularly difficult, and summarize our takeaways for future satellite imagery-related applications.

研究の動機と目的

• 1つの大陸または季節で学習された深層学習モデルが、他の大陸や季節の土地被覆分類にどの程度一般化できるかを評価すること。
• 特に景観およびセンサーのばらつきによる地理的情報深層学習における一般化の悪さの根本的原因を特定すること。
• 衛星画像から導出された景観クラスタの分布を用いて、新しい地域におけるモデル性能を予測する手法を開発すること。
• 実務家が分布外の地理的情報応用に対して適切なモデルやデータ拡張戦略を選択できるように支援すること。

提案手法

• SEN12MSデータセットを用いて、FC-DenseNetモデルを土地被覆分類に訓練し、訓練と評価を大陸および季節ごとに分割する。
• Sentinel-1およびSentinel-2バンドの平均値に基づいて、画像パッチをk-meansクラスタリングして、明確な景観タイプを同定する。
• 大陸ごとのクラスタ頻度のヒストグラムを作成し、大陸間の景観分布の違いを定量化する。
• 正規化されたクラスタヒストグラムに主成分分析（PCA）を適用し、大陸間の景観プロファイルの類似性および相違性を可視化する。
• 特定の大陸に強く関連する景観タイプを特定するため、条件付き確率P(大陸|クラスタ)を計算する。
• モデルの一般化性能を大陸および季節ごとに評価し、性能低下が景観分布のシフトとどのように相関するかを検証する。

実験結果

リサーチクエスチョン

• RQ1 1つの季節で学習されたモデルは、他の季節にどの程度一般化できるか？
• RQ2 1つの大陸で学習されたモデルは、他の大陸にどの程度一般化できるか？
• RQ3 モデル一般化が悪くなる状況を予測するための特徴または指標は何か？
• RQ4 マルチスペクトル画像からの景観クラスタリングは、大陸間の一般化失敗を説明できるか？

主な発見

• 大陸外および季節外でのモデル性能は、大陸内および季節内での性能に比べて顕著に低く、地域および時間的要因における一般化が著しく悪いことが示された。
• ヨーロッパで学習されたモデルは北アメリカへ reasonably well に一般化し、南アメリカで学習されたモデルはアフリカへよく一般化した。これは、クラスタヒストグラムで観察された類似した景観分布と一致した。
• オーストラリアの景観は、他のすべての大陸と視覚的に著しく異なるため、他の大陸で学習されたモデルはオーストラリアのデータに対して性能を発揮しなかった。これは、特異な景観分布を示している。
• 砂漠（クラスタ5, 10）および雪・トゥンドラ（クラスタ2, 9）のような特定の景観クラスタは、特定の大陸に強く関連しており、P(大陸|クラスタ)の値から強い局在性が示された。
• 正規化されたクラスタヒストグラムのPCA可視化により、アフリカと南アメリカ、ヨーロッパと北アメリカはそれぞれ景観構成が類似していることが確認された。一方、アジアは中間的立場に位置しており、過渡的特性を示した。
• 1つの大陸または季節でのみ学習されたモデルは、新たな地域ではしばしば失敗する。これは、学習時に考慮されていない景観のばらつきが原因であり、モデルの耐性を高めるために、訓練データの多様性が不可欠であると示唆された。