[論文レビュー] Embedding Earth: Self-supervised contrastive pre-training for dense land cover classification

Michail Tarasiou, Stefanos Zafeiriou|arXiv (Cornell University)|Mar 11, 2022

Remote-Sensing Image Classification被引用数 6

ひとこと要約

本論文では、膨大な量のラベルなし衛星画像を用いて、密な土地被覆分類のための自己教師付き対照的事前学習手法であるEmbedding Earthを紹介する。多様なグローバル地域で事前学習することで、ラベル付きデータが限られる状況でも、下流のセグメンテーションタスクにおいて平均交差率（mIoU）が最大25%絶対的に向上し、地理的に異なる地域間でも優れた一般化性能を示している。

ABSTRACT

In training machine learning models for land cover semantic segmentation there is a stark contrast between the availability of satellite imagery to be used as inputs and ground truth data to enable supervised learning. While thousands of new satellite images become freely available on a daily basis, getting ground truth data is still very challenging, time consuming and costly. In this paper we present Embedding Earth a self-supervised contrastive pre-training method for leveraging the large availability of satellite imagery to improve performance on downstream dense land cover classification tasks. Performing an extensive experimental evaluation spanning four countries and two continents we use models pre-trained with our proposed method as initialization points for supervised land cover semantic segmentation and observe significant improvements up to 25% absolute mIoU. In every case tested we outperform random initialization, especially so when ground truth data are scarse. Through a series of ablation studies we explore the qualities of the proposed approach and find that learnt features can generalize between disparate regions opening up the possibility of using the proposed pre-training scheme as a replacement to random initialization for Earth observation tasks. Code will be uploaded soon at https://github.com/michaeltrs/DeepSatModels.

研究の動機と目的

• 土地被覆セグメンテーションのための豊富な衛星画像と、限られた高価な地面真理データの間の顕著な不均衡に対処する。
• 大規模なラベルなし地球観測データを活用して、下流のセグメンテーション性能を向上させる自己教師付き事前学習フレームワークを開発する。
• ある地理的地域で事前学習したモデルが、異なる地域の下流タスクに効果的に一般化できるかどうかを調査する。
• 事前学習データのスケール（空間的：関心領域（AOI）および時間的：関心期間（POI））が、下流性能に与える影響を評価する。
• 自己教師付き事前学習が、特にデータが少ない状況で、教師あり事前学習に劣らない、実用的な代替手段であることを示す。

提案手法

• 衛星画像を用いたピクセルレベルの表現学習のためのエンドツーエンド自己教師付き対照的学習フレームワークを設計する。
• 同一画像パッチの正例と負例の対比を通じて、不変な特徴を学ぶためにインスタンス識別と対照的損失を適用する。
• 多様なグローバル地域からの大規模なラベルなし衛星データで、畳み込みニューラルネットワーク（例：ResNetベースのエンコーダ）を事前学習する。
• 限られたアノテート済みデータで、事前学習済みエンコーダを下流の土地被覆セマンティックセグメンテーションタスクに微調整する。
• ランダムクロッピング、カラージッタリング、回転などのデータ拡張戦略を用いて、対照的学習のための正例および負例のビューを生成する。
• 同じパッチのビュー間の一致を最大化するとともに、異なるパッチのビューを分離するように、対照的目的関数でモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなし衛星画像を用いた自己教師付き対照的事前学習が、下流の密な土地被覆セグメンテーション性能を顕著に向上させられるか？
• RQ2 事前学習データのスケール（関心領域（AOI）および関心期間（POI）の観点から）が、下流のmIoUに与える影響は何か？
• RQ3 下流タスクとは異なる地理的地域で事前学習を実施した場合、性能が低下するか、あるいは一般化の利点が得られるか？
• RQ4 本手法は、データが少ない状況でランダム初期化や教師あり事前学習と比較してどのように異なるか？
• RQ5 学習された特徴は、多様な土地被覆タイプや地理的地域にわたって一般化可能であり、大陸を越えた転移学習を可能にするか？

主な発見

• 提案手法である自己教師付き対照的事前学習は、ランダム初期化と比較して、下流の土地被覆セグメンテーションタスクで最大25%のmIoUの絶対的向上を達成した。
• 訓練データが限られる状況で、その恩恵が顕著に現れ、本手法がデータが少ない状況でも有効であることを示している。
• 事前学習データセットのサイズを拡大することで（AOIを拡大するか、POIを延長することで）、下流のセグメンテーション性能が一貫して向上する。
• 下流タスクとは異なる国や地域で事前学習を行っても、性能が低下しない。むしろ、良好な一般化性能を示しており、強力な地域間転送性を示している。
• ドイツ、フランス、ガーナ、南スーダンの全評価地域において、本手法はランダム初期化および教師あり事前学習のベースラインを上回った。
• アブレーションスタディにより、対照的目的関数が、何らの教師信号がなくても、意味的に意味のある転送可能な特徴を効果的に学習できることを確認した。