[論文レビュー] Panoptic Segmentation of Satellite Image Time Series with Convolutional Temporal Attention Networks

Vivien Sainte Fare Garnot, Loïc Landrieu|arXiv (Cornell University)|Jul 16, 2021

Remote Sensing in Agriculture被引用数 6

ひとこと要約

本論文は、U-Netベースのエンコーダと時間的自己注意機構を組み合わせて、空間的・時間的ダイナミクスをモデル化する、新しいエンドツーエンドでワンステージの衛星画像時系列（SITS）パノプティックセグメンテーションフレームワーク、U-TAEを提案する。また、パノプティックアノテーションを備えた、初めてのオープンアクセスSITSデータセットPASTISを提供し、パノプティックセグメンテーションで最先端の性能を達成し、従来手法を大きく上回った。

ABSTRACT

Unprecedented access to multi-temporal satellite imagery has opened new perspectives for a variety of Earth observation tasks. Among them, pixel-precise panoptic segmentation of agricultural parcels has major economic and environmental implications. While researchers have explored this problem for single images, we argue that the complex temporal patterns of crop phenology are better addressed with temporal sequences of images. In this paper, we present the first end-to-end, single-stage method for panoptic segmentation of Satellite Image Time Series (SITS). This module can be combined with our novel image sequence encoding network which relies on temporal self-attention to extract rich and adaptive multi-scale spatio-temporal features. We also introduce PASTIS, the first open-access SITS dataset with panoptic annotations. We demonstrate the superiority of our encoder for semantic segmentation against multiple competing architectures, and set up the first state-of-the-art of panoptic segmentation of SITS. Our implementation and PASTIS are publicly available.

研究の動機と目的

• 衛星画像時系列（SITS）におけるエンドツーエンドのパノプティックセグメンテーション手法の不足に応えること。特に、時間的変化に伴う複雑な作物生育ダイナミクスをモデル化する必要がある。
• マルチタイムスケールの衛星データにおける顕著な時間的パターンを適応的に捉えることができる空間的・時間的エンコーダを開発し、セマンティックおよびインスタンスセグメンテーションの両方を向上させること。
• 4,000 km²以上をカバーし、20億ピクセル以上のアノテーションを含む、初めての大規模でオープンアクセスのSITSデータセットPASTISを構築・公開すること。
• 統一的でワンステージのディープラーニングフレームワークを用いて、SITSにおける農業パッチのパノプティックセグメンテーションの新しい最先端ベンチマークを確立すること。

提案手法

• 空間的畳み込みと時間的自己注意機構を統合したU-NetベースのエンコーダであるU-TAEを提案。時間的・空間的特徴を解像度に応じて適応的に学習する。
• 各特徴マップ解像度ごとにピクセル単位のアテンションマスクを生成する時間的アテンションモジュールを採用。解像度に応じた時間的特徴統合を可能にする。
• SITSに特化した修正版CenterMaskベースのインスタンスセグメンテーションヘッドであるPaPs（Parcels-as-Points）を導入。学習された形状パッチとサリエンシーマップを用いてインスタンス予測を実施。
• 全タイムステップを並列に処理する共通の畳み込みエンコーダを用い、その後に解像度に特化した時間的アテンションを適用して、時間次元を1つの空間的・時間的特徴マップに統合。
• 時間的アテンションマスクを空間的補間により異なる解像度レベルにアライメントさせ、すべてのスケールで一貫した時間的モデリングを実現。
• 標準的なパノプティックセグメンテーション損失を用いて、エンドツーエンドでモデルを訓練。評価指標には認識品質（RQ）とパノプティック品質（PQ）を用いる。

実験結果

リサーチクエスチョン

• RQ1 統一的でワンステージのディープラーニングフレームワークが、空間的・スペクトル的・時間的ダイナミクスを統合的にモデル化することで、SITSにおけるパノプティックセグメンテーションで最先端の性能を達成できるか？
• RQ2 学習可能な時間的自己注意機構は、再帰的または畳み込み型の時間エンコーダーよりも、SITSにおける生育ダイナミクスをどのように効果的に捉えられるか？
• RQ3 時間的ダイナミクスをモデル化することで、単一画像ベースラインと比較して、パノプティックセグメンテーション性能がどの程度向上するか？
• RQ4 提案手法はアテンション機構を通じて雲に覆われた画像を自動で除外できるか？また、その結果、耐障害性が向上するか？

主な発見

• 提案されたU-TAE + PaPsフレームワークは、PASTISデータセット上でパノプティック品質（PQ）43.8を達成し、SITSパノプティックセグメンテーション分野で新たな最先端性能を樹立した。
• 時間的アテンションエンコーダをU-BiConvLSTMに置き換えると、PQが8.2ポイントも低下し、アテンション機構の優位性を実証した。
• 単一の曇りのない画像（例：8月）のみを用いるとPQは14.1にとどまり、正確なパッチセグメンテーションには時間的モデリングの重要性が顕著に示された。
• モデルは曇りの画像に対して注意を向けにくく学習しており、曇りの画像は平均で曇りのない画像に比べて58%少ない注目度を示した。これは、ノイズの効果的フィルタリングを示している。
• 形状パッチサイズ（S=8からS=24）の変更に対しても性能が安定しており、インスタンス予測ヘッドのロバストネスを確認した。
• 以前報告されたRQ指標計算バグにより、スコアが約3 PQポイント低く評価されていた。修正後は、すべての手法で一貫して約3ポイントの改善が確認された。