[論文レビュー] Combining Sentinel-1 and Sentinel-2 Time Series via RNN for object-based land cover classification

Dino Ienco, Raffaele Gaetano+3 more|arXiv (Cornell University)|Dec 13, 2018

Remote-Sensing Image Classification参考文献 10被引用数 23

ひとこと要約

本稿では、オブジェクトレベルでマルチタイムスタンプのセントネル-1（レーダ）およびセントネル-2（光学）衛星画像時系列を統合する深層学習アーキテクチャ、OD2RNNを提案する。2つの並列RNNストリームを用いて時系列ダイナミクスをモデル化し、分類の前に特徴量を連結することで、レユニオン島で89.59%の正確性を達成し、ランダムフォレストベースラインを著しく上回り、作物栽培や影影響地域といった困難なクラスにおける優れた汎化性能を示した。

ABSTRACT

Radar and Optical Satellite Image Time Series (SITS) are sources of information that are commonly employed to monitor earth surfaces for tasks related to ecology, agriculture, mobility, land management planning and land cover monitoring. Many studies have been conducted using one of the two sources, but how to smartly combine the complementary information provided by radar and optical SITS is still an open challenge. In this context, we propose a new neural architecture for the combination of Sentinel-1 (S1) and Sentinel-2 (S2) imagery at object level, applied to a real-world land cover classification task. Experiments carried out on the Reunion Island, a overseas department of France in the Indian Ocean, demonstrate the significance of our proposal.

研究の動機と目的

• 補完的レーダ（セントネル-1）および光学（セントネル-2）衛星時系列を、土地被覆分類の文脈で効果的に統合するという未解決課題に取り組むこと。
• オブジェクトベース分析を活用することで、データ次元削減と特徴表現力の向上を実現し、分類の正確性と頑健性を向上させること。
• マルチソース・マルチタイムスタンプデータをオブジェクトレベルで知的に統合する深層学習モデルを構築し、ピクセルレベル手法や単一センサアプローチの限界を克服すること。
• 複雑な熱帯環境（頻繁な雲被覆と多様な土地被覆タイプを有する）であるレユニオン島の実世界データセットを用いて、提案手法を評価すること。
• マルチソースデータを統合する際、従来の機械学習モデル（例：ランダムフォレスト）に比べて、提案アーキテクチャが優れていることを示すこと。

提案手法

• OD2RNNアーキテクチャは、セントネル-1（dB単位のVV+VHバックプロージョン）とセントネル-2（B2, B3, B4, B8, NDVI）時系列を処理する2つの同一のRNNストリームを用いる。それぞれ34および24タイムスロットを処理する。
• 各ストリームは、双方向LSTMネットワークを用いてマルチタイムスタンプデータからの順序的パターンを抽出する。
• 2つのストリームからの特徴量を連結し、全結合層を通過させて最終的な土地被覆予測を生成する。
• オブジェクトは、SPOT6/7のパノラマおよびマルチスペクトル画像（10 m解像度）を用い、Large Scale Generic Region Mergingアルゴリズムにより抽出され、7,462個のラベル付きセグメントが得られた。
• 各オブジェクトには218の特徴量が割り当てられる：S2から170（34タイムスロット × 5バンド/インデックス）、S1から48（24タイムスロット × 2偏波）。
• モデルは交差エントロピー損失関数を用いた確率的勾配降下法で学習され、ストラティファイド分割を用いた10分割交差検証により評価された。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトレベルでマルチタイムスタンプのセントネル-1およびセントネル-2時系列を統合する深層学習アーキテクチャが、土地被覆分類においてランダムフォレストのような従来の機械学習モデルを上回ることができるか？
• RQ2 レーダと光学データの統合は、雲被覆が多く、複雑な土地被覆タイプを有する熱帯的景観（例：レユニオン島）において、分類性能をどのように向上させるか？
• RQ3 ピクセルレベルの手法と比較して、オブジェクトベース処理は、特徴表現力と分類の頑健性をどの程度向上させるか？
• RQ4 提案されたOD2RNNモデルは、光学画像のみで区別が難しい、作物栽培とオレンジ畑のようなスペクトル的に類似したクラスの誤分類をどの程度低減できるか？
• RQ5 光学センサに問題を引き起こすが、レーダには影響を受けない影クラスにおいて、モデルの性能はどの程度か？

主な発見

• OD2RNNは全体で89.59%の正確性を達成し、最良のランダムフォレストベースライン（RF(S2））の86.40%およびRF(S1,S2)の82.01%を著しく上回った。
• OD2RNNのF-Measureは89.48%に達し、次に優れた手法であるRF(S2)の86.10%を上回り、全体的な分類性能の優位性を示した。
• 作物栽培クラス（クラス0）では、OD2RNNがF-Measure 84.27%を達成し、RF(S2)の74.79%から10ポイントの改善を示した。
• 光学センサにとって問題となる影クラス（クラス12）では、OD2RNNがF-Measure 82.31%を達成し、RF(S1)の0.0%を大きく上回り、レーダの影への不感度の利点を示した。
• 視覚的分析により、OD2RNNはオレンジ畑や作物栽培の誤分類を低減し、雲被覆の激しい火山地域における雲によるデータ欠落に対しても、RF(S1,S2)がS2データ欠落を補填できなかったのと比較して、誤差を最小限に抑えた。
• 特に雲被覆が多く、複雑な植生構造を有する地域において、時間的ギャップやスペクトル的曖昧性の処理において、モデルが頑健であることが確認された。