[論文レビュー] M3Fusion: A Deep Learning Architecture for Multi-{Scale/Modal/Temporal} satellite data fusion

Paola Benedetti, Dino Ienco+4 more|arXiv (Cornell University)|Mar 5, 2018

Methane Hydrates and Related Phenomena参考文献 9被引用数 11

ひとこと要約

本稿では、マルチタイムスパンのセントネル-2データ（高時間分解能）と非常に高解像度（VHSR）の衛星画像（例：SPOT6/7）を統合することで、土地被覆マッピングの精度を向上させるエンドツーエンドのディーブラーニングアーキテクチャ、M³Fusionを提案する。VHSRデータからの空間的特徴抽出に畳み込みニューラルネットワーク（CNN）を、時系列データの時間的モデリングに再帰的ニューラルネットワーク（RNN）を組み合わせることで、M³Fusionは5つのデータ分割においてランダムフォレストと比較して2.28–4.04%の精度向上と2.65–4.53%のF-measure向上を達成し、レユニオン島のデータにおいて優れた性能と高い耐性を示した。

ABSTRACT

Modern Earth Observation systems provide sensing data at different temporal and spatial resolutions. Among optical sensors, today the Sentinel-2 program supplies high-resolution temporal (every 5 days) and high spatial resolution (10m) images that can be useful to monitor land cover dynamics. On the other hand, Very High Spatial Resolution images (VHSR) are still an essential tool to figure out land cover mapping characterized by fine spatial patterns. Understand how to efficiently leverage these complementary sources of information together to deal with land cover mapping is still challenging. With the aim to tackle land cover mapping through the fusion of multi-temporal High Spatial Resolution and Very High Spatial Resolution satellite images, we propose an End-to-End Deep Learning framework, named M3Fusion, able to leverage simultaneously the temporal knowledge contained in time series data as well as the fine spatial information available in VHSR information. Experiments carried out on the Reunion Island study area asses the quality of our proposal considering both quantitative and qualitative aspects.

研究の動機と目的

• 高時間分解能（セントネル-2）と非常に高解像度（VHSR）の衛星データを統合する課題に取り組み、土地被覆マッピングの精度を向上させること。
• 手作業で特徴を設計する従来のデータ統合手法や、モダリティを別々に処理する手法の限界を克服すること。
• 異種の衛星データソースから空間的および時間的特徴を同時に学習可能なエンドツーエンドのディープラーニングフレームワークを構築すること。
• 特にクラス不均衡の処理やVHSRデータにおける雲・影アーチファクトに起因するノイズの低減を念頭に、土地被覆マッピングの分類精度と耐性を向上させること。
• レユニオン島という複雑な熱帯環境で、実世界の事例として提案アーキテクチャの有効性を実証すること。

提案手法

• M³Fusionは二重ブランチのディープラーニングアーキテクチャを採用：3D-CNNブランチはVHSR画像を処理して微細な空間的特徴を抽出し、RNN（LSTMベース）ブランチはマルチタイムスパンのセントネル-2時系列データの時間的ダイナミクスをモデリングする。
• VHSR入力は3D-CNNを通過することで、マルチスペクトルバンドにわたる空間的パターンを学習し、高解像度の文脈的情報を捉える。
• セントネル-2時系列データ（34枚の画像、1ピクセルあたり16の変数、反射率および放射計インデックスを含む）は、双方向LSTMネットワークに供給され、時間的プロファイルのモデリングと生育パターンの検出が行われる。
• 空間的特徴と時間的特徴は最終層で連結され、分類用の統合表現が形成される。
• ネットワーク全体は教師あり学習と交差エントロピー損失関数を用いてエンドツーエンドで訓練され、特徴抽出と分類の同時最適化が可能になる。
• 特徴抽出の前段階で、線形補間を用いた時間的ギャップ補完が、セントネル-2時系列における雲影響を受ける観測値の処理に適用される。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングアーキテクチャは、マルチタイムスパン、高空間解像度（セントネル-2）および非常に高解像度（VHSR）の衛星データを統合して、土地被覆マッピングに有効に機能するか？
• RQ2 異種の衛星ソースからの時間的および空間的情報を統合する際、M³Fusionの性能はランダムフォレストのような従来の機械学習手法と比べてどの程度優れているか？
• RQ3 従来の統合戦略と比較して、M³FusionはVHSRデータに起因する雲・影アーチファクトに起因するノイズをどの程度低減できるか？
• RQ4 クラス不均衡や異なるデータ分布の下でも、M³Fusionの性能はどの程度の耐性を示すか、特に異なるランダムデータ分割において？
• RQ5 一つのディープラーニングフレームワーク内で空間的および時間的モデリングを統合することで、分離された特徴抽出と統合よりも、より優れた一般化性能と分類精度が得られるか？

主な発見

• M³Fusionは、レユニオン島データセットにおける5つの独立したデータ分割において、ランダムフォレストと比較して平均で3.16%の精度向上と3.50%のF-measure向上を達成した。
• 最も挑戦的とされる分割（分割3）では、4.04%の精度向上と4.53%のF-measure向上を達成し、厳しいデータ条件下でも優れた性能を示した。
• M³Fusionはランダムフォレストよりも高い耐性を示した：最高と最低の分割における性能差は、精度でわずか2.0ポイントであったのに対し、ランダムフォレストでは3.0ポイント以上の低下が見られた。
• 分類マップはより滑らかでノイズが少なく、都市部では誤分類された遷移領域（例：建物が市場畑として誤分類される現象）が著しく減少した。また、VHSRデータ由来の雲・影アーチファクトも顕著に低減された。
• M³FusionのF-measureと精度値は一貫して近接しており、全クラスにわたるバランスの取れた性能を示した。一方、ランダムフォレストは平均で0.5ポイントの乖離を示しており、多数クラスにバイアスがかかる傾向が見られた。
• 定性的な分析から、M³Fusionはランダムフォレストと比較して、特に都市部や遷移領域において空間的連続性をより良く保持し、スペッケル状のノイズを低減していることが確認された。