[論文レビュー] Paradigm selection for Data Fusion of SAR and Multispectral Sentinel data applied to Land-Cover Classification

Alessandro Sebastianelli, Maria Pia Del Rosso+2 more|arXiv (Cornell University)|Jun 18, 2021

Remote-Sensing Image Classification被引用数 6

ひとこと要約

本論文は、土地被覆分類のためのSentinel-1 SARおよびSentinel-2マルチスペクトルデータを用いて、深層学習ベースのデータ統合パラダイム（早期統合、共同統合、および2つの後期統合バリエーション）を評価する。重み付き後期統合が最高の分類精度（平均F1スコア86%）を達成することを示しており、固定されたCNNアーキテクチャを用いた場合、他のフレームワークを上回っている。これはAI4EOアプリケーションにおける最適な統合パラダイム選定の体系的手続きを提供する。

ABSTRACT

Data fusion is a well-known technique, becoming more and more popular in the Artificial Intelligence for Earth Observation (AI4EO) domain mainly due to its ability of reinforcing AI4EO applications by combining multiple data sources and thus bringing better results. On the other hand, like other methods for satellite data analysis, data fusion itself is also benefiting and evolving thanks to the integration of Artificial Intelligence (AI). In this letter, four data fusion paradigms, based on Convolutional Neural Networks (CNNs), are analyzed and implemented. The goals are to provide a systematic procedure for choosing the best data fusion framework, resulting in the best classification results, once the basic structure for the CNN has been defined, and to help interested researchers in their work when data fusion applied to remote sensing is involved. The procedure has been validated for land-cover classification but it can be transferred to other cases.

研究の動機と目的

• AI4EOアプリケーション、特に土地被覆分類において、最適なデータ統合フレームワークを選定する体系的手続きを確立すること。
• 固定されたCNNアーキテクチャを用いた場合、異なるデータ統合パラダイムが分類性能に与える影響を評価すること。
• Sentinel-1 SARおよびSentinel-2マルチスペクトルデータを統合する際、最も効果的な戦略（早期統合、共同統合、または後期統合）を特定すること。
• 土地被覆分類にとどまらず、セグメンテーションや変化検出などの他のAI4EOタスクへも適用可能な移転可能な手法を提供すること。
• 再現可能性およびさらなる研究を促進するために、カスタムデータセットとオープンソース実装を用いてフレームワークを検証すること。

提案手法

• 4つのデータ統合パラダイムを、共通のCNNアーキテクチャに実装する：早期統合（入力を直接連結）、共同統合（特徴抽出を共有）、および2つの後期統合バリエーション（予測の和および重み付き集約）。
• Google Earth Engineを介して、同じ地理的領域のSentinel-1デュアルポーラリゼーションSARおよびSentinel-2 Level-2Aマルチスペクトルデータを取得し、5つの土地被覆クラス（都市、沿岸、湖、川、植生）をカバーする。
• 正例ラベルを1-of-Kエンコーディングで表現し、各クラスは対応するインデックスのみが1.0、他のインデックスは0.0となるベクトルにマッピングされる。
• モデルトレーニングは教師あり学習であり、すべての統合フレームワークで同じCNNバックボーンを用いることで、統合戦略の影響を明確に分離する。
• 性能評価には標準指標（正解率、適合率、再現率、F1スコア）を用い、クラスごとに計算し、クラス間で平均化する。
• 重み付き後期統合戦略では、予測スコアにクラス固有の重みを適用して集約することで、不均衡なクラスにおける性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Sentinel-1 SARおよびSentinel-2マルチスペクトルデータを統合するにあたり、早期統合、共同統合、後期統合のうち、どの統合パラダイムが土地被覆分類において最高の分類精度を達成するか？
• RQ2 クラスの不均衡が存在する状況において、統合戦略の選択が、特に異なる土地被覆クラスにおける適合率、再現率、F1スコアにどのように影響するか？
• RQ3 標準後期統合や他のパラダイムと比較して、重み付き後期統合アプローチはマイノリティクラスにおける性能を向上させるか？
• RQ4 土地被覆分類にとどまらず、他のAI4EOアプリケーションへも適用可能な、統合パラダイム選定の体系的手続きを確立できるか？
• RQ5 SARデータのみ、光学データのみ、または統合データのみを用いた場合、性能指標はどのように変化するか。この結果から、モデル設計にどのようなインサイトが得られるか？

主な発見

• 重み付き後期統合が平均F1スコア86%を達成し、他のパラダイム（早期統合80%、標準後期統合85%）を顕著に上回る最高の性能を示した。
• 重み付き後期統合フレームワークは都市クラスで100%の正解率、湖および植生クラスで98%の正解率を達成しており、支配的クラスにおける優れた一般化性能を示している。
• Sentinel-2単体では平均78%の正解率、79%のF1スコアを達成し、Sentinel-1単体では79%の正解率、79%のF1スコアを達成しており、統合なしでは中程度の性能であることが示された。
• 共同統合は平均F1スコア86%、正解率86%を達成し、2番目に高いスコアを記録したが、沿岸クラスの適合率が0.84と、重み付き後期統合（0.87）に比べて低かった。
• 早期統合は植生クラスで100%の正解率を達成したが、川（66%の正解率）および沿岸（78%の正解率）では性能が低く、入力次元の変化に敏感であることが示された。
• 混同行列および指標可視化により、重み付き後期統合が誤分類、特に川および湖クラスの誤分類を低減していることが確認された。