[論文レビュー] Attentive Weakly Supervised land cover mapping for object-based satellite image time series data with spatial interpretation

Dino Ienco, Yawogan Jean Eudes Gbodjo+2 more|arXiv (Cornell University)|Apr 30, 2020

Remote-Sensing Image Classification参考文献 38被引用数 5

ひとこと要約

本論文は、注意メカニズムを用いて関連する対象内コンポonentを特定・重み付けすることで、分類精度と解釈可能性を向上させる弱教師付き深層学習フレームワークTASSELを提案する。対象ベースの衛星画像時系列（SITS）の土地被覆マッピングにおいて、最先端の手法を上回り、モデル意思決定を解釈可能な空間的注意マップを生成する。

ABSTRACT

Nowadays, modern Earth Observation systems continuously collect massive amounts of satellite information. The unprecedented possibility to acquire high resolution Satellite Image Time Series (SITS) data (series of images with high revisit time period on the same geographical area) is opening new opportunities to monitor the different aspects of the Earth Surface but, at the same time, it is raising up new challenges in term of suitable methods to analyze and exploit such huge amount of rich and complex image data. One of the main task associated to SITS data analysis is related to land cover mapping where satellite data are exploited via learning methods to recover the Earth Surface status aka the corresponding land cover classes. Due to operational constraints, the collected label information, on which machine learning strategies are trained, is often limited in volume and obtained at coarse granularity carrying out inexact and weak knowledge that can affect the whole process. To cope with such issues, in the context of object-based SITS land cover mapping, we propose a new deep learning framework, named TASSEL (aTtentive weAkly Supervised Satellite image time sEries cLassifier), that is able to intelligently exploit the weak supervision provided by the coarse granularity labels. Furthermore, our framework also produces an additional side-information that supports the model interpretability with the aim to make the black box gray. Such side-information allows to associate spatial interpretation to the model decision via visual inspection.

研究の動機と目的

• 衛星画像時系列（SITS）を用いた大規模な土地被覆マッピングにおける限られた、粗いラベルの課題に対処すること。
• 対象内コンポーネントの多様性を無視する、従来の対象ベース画像解析（OBIA）の限界を克服すること。
• 無関係な対象内コンポーネント（例：農地内のシーツリー）を知的にフィルタリングすることでノイズを低減し、分類のロバスト性を向上させる手法を開発すること。
• 空間的注意マップを生成することで、分類意思決定に最も寄与するコンポーネントを可視化し、モデルの解釈可能性を向上させること。
• ドメインエキスパートが実用的かつ行動可能なインサイトを得られるように、モデル予測とSITSデータ内の空間的に局所化された特徴を結びつけること。

提案手法

• SITSデータの対象を、放射的コンポーネント（例：植生、不透水表面、裸地）にクラスタリング分析を適用して分割する。
• 各識別された対象コンポーネントから深層内部表現を抽出するため、畳み込みニューラルネットワーク（CNN）ブロックを用いる。
• 各コンポーネントが土地被覆クラスに対してどの程度関連性があるかに応じて重みを割り当てる、学習可能な注意メカニズムを用いてコンポーネント表現を統合する。
• 対象レベルの粗いラベルのみを用いて弱教師付き学習設定でエンドツーエンドのフレームワークを訓練する。
• 最終的な土地被覆予測と、各コンポーネントが意思決定にどの程度寄与しているかを示す空間的注意マップ（α）の両方を出力する。
• 注意マップを視覚的解釈の補助情報として活用し、モデルの推論を空間的に検査可能にする。

実験結果

リサーチクエスチョン

• RQ1 弱教師付き学習下で、対象ベースのSITSデータにおける対象内情報の多様性を、深層学習フレームワークが効果的に活用できるか。
• RQ2 注意メカニズムを用いて、無関係またはノイズの多いコンポーネント（例：畑内のシーツリー）を抑制し、特徴を判別的に強調できるか。
• RQ3 提案された注意ベースの統合手法が、標準的な対象レベル統計と比較して、分類精度をどの程度向上させるか。
• RQ4 注意マップが、土地被覆マッピングにおけるモデル意思決定の空間的検査に意味のある解釈ツールとして機能できるか。
• RQ5 複雑な対象内不均一性を示す多様な土地被覆タイプや現実世界のSITSシナリオにおいて、このフレームワークはどの程度一般化可能か。

主な発見

• TASSELは2つの実世界のSITSベンチマークにおいて、最先端の手法を上回る予測性能を示し、弱教師付き学習にもかかわらず優れた分類精度を達成した。
• 注意メカニズムは、無関係なコンポーネント（例：農地内のシーツリー）を効果的に同定・低減し、判別性のない特徴に対して低い注意スコアを割り当てた。
• 森林地帯では、TASSELは植生領域に高い注意を払い、裸地には低い注意を割り当て、土地被覆クラスと正しく一致した。
• 都市部では、モデルが建物コンポーネントに高い注意を払い、植生には低い注意を割り当てており、正しい土地被覆クラスの割り当てを反映していた。
• 生成された注意マップ（α）は一貫性があり、空間的に局所化された解釈を提供し、モデルの透明性とエキスパートによる検証を支援した。
• このフレームワークは、複雑な土地単位におけるノイズや無関係な特徴の影響を軽減するため、対象内コンポーネントから不変的かつ特徴的な信号を効果的に学習した。