[論文レビュー] Remote Sensing Images Semantic Segmentation with General Remote Sensing Vision Model via a Self-Supervised Contrastive Learning Method.

Haifeng Li, Yi Li+5 more|arXiv (Cornell University)|Jun 20, 2021

Remote-Sensing Image Classification参考文献 39被引用数 5

ひとこと要約

本論文は、グローバルスタイルとローカル特徴マッチングを統合的に最適化することで、画素単位の表現学習を向上させる自己教師付き対照学習フレームワーク、GLCNetを提案する。1%のラベル付きデータのみで最先端の性能を達成し、ISPRS PotsdamではKappaスコアを6%向上、DeepGlobeでは3%向上した。

ABSTRACT

A new learning paradigm, self-supervised learning (SSL), can be used to solve such problems by pre-training a general model with large unlabeled images and then fine-tuning on a downstream task with very few labeled samples. Contrastive learning is a typical method of SSL, which can learn general invariant features. However, most of the existing contrastive learning is designed for classification tasks to obtain an image-level representation, which may be sub-optimal for semantic segmentation tasks requiring pixel-level discrimination. Therefore, we propose Global style and Local matching Contrastive Learning Network (GLCNet) for remote sensing semantic segmentation. Specifically, the global style contrastive module is used to learn an image-level representation better, as we consider the style features can better represent the overall image features; The local features matching contrastive module is designed to learn representations of local regions which is beneficial for semantic segmentation. We evaluate four remote sensing semantic segmentation datasets, and the experimental results show that our method mostly outperforms state-of-the-art self-supervised methods and ImageNet pre-training. Specifically, with 1\% annotation from the original dataset, our approach improves Kappa by 6\% on the ISPRS Potsdam dataset and 3\% on Deep Globe Land Cover Classification dataset relative to the existing baseline. Moreover, our method outperforms supervised learning when there are some differences between the datasets of upstream tasks and downstream tasks. Our study promotes the development of self-supervised learning in the field of remote sensing semantic segmentation. The source code is available at this https URL.

研究の動機と目的

• 意味セグメンテーションのためのラベル付きリモートセンシング画像が限られているという課題に対処すること。
• リモートセンシングにおける自己教師付き対照学習における画素単位の表現学習を向上させること。
• グローバル画像スタイルとローカル領域特徴を統合的に活用する統一フレームワークを構築し、より良いセグメンテーション性能を達成すること。
• ImageNetの事前学習やリモートセンシング応用におけるダウンストリームドメインのズレに依存しないこと。

提案手法

• GLCNetは、全体的なシーン理解を向上させるためにスタイル特徴に注目するグローバルスタイル対照モジュールを導入し、画像レベルの表現を学習する。
• 画素単位のセグメンテーションに不可欠な、局所的領域レベルの判別的表現を学習するために、ローカル特徴マッチング対照モジュールを採用する。
• 同じ画像の増幅画像（ポジティブビュー）同士の一致を最大化し、ネガティブビュー同士の類似度を最小化するように、対照学習を用いる。
• 大規模なラベルなしリモートセンシング画像で事前学習を行い、その後、最小限のラベル付きデータでダウンストリームのセグメンテーションタスクにファインチューニングする。
• グローバルおよびローカルの対照的目標を統合した対照損失を用いて、エンドツーエンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き対照学習は、リモートセンシング画像の意味セグメンテーションにおける画素単位の表現学習を効果的に向上させることができるか？
• RQ2 グローバルスタイルとローカル特徴マッチングを組み合わせることで、画像分類に特化した従来の対照学習手法よりも優れた性能が得られるか？
• RQ3 低ショット学習設定下で、GLCNetはImageNet事前学習および最先端の自己教師付き手法と比較してどのように性能を発揮するか？
• RQ4 事前学習データとファインチューニングデータの間で分布がズレている場合、GLCNetはドメイン間で一般化できるか？

主な発見

• ISPRS Potsdamデータセットにおいて、元のラベル付きデータの1%のみを用いた場合、GLCNetはKappaスコアを6%向上させた。
• DeepGlobe Land Cover Classificationデータセットでは、同じ低ショット設定下で、既存のベースラインと比較してKappaスコアを3%向上させた。
• 評価されたすべてのリモートセンシングセグメンテーションベンチマークで、ImageNet事前学習を上回る性能を示した。
• アップストリームとダウンストリームのデータセット間にドメインシフトが生じた場合、GLCNetは教師あり学習をも凌駆する強力な一般化性能を示した。
• アブレーションスタディにより、グローバルスタイルモジュールとローカルマッチングモジュールの両方が性能向上に顕著に寄与していることが確認された。