[論文レビュー] Evaluating Self and Semi-Supervised Methods for Remote Sensing Segmentation Tasks

Chaitanya Patel, Shashank Sharma+2 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Image and Video Retrieval Techniques被引用数 9

ひとこと要約

本論文は、ラベルなし衛星画像を用いて、河川の河床、土地被覆、洪水マッピングの3つのタスクにおいて、自己教師あり（SimCLR）および半教師あり（FixMatch）学習手法のリモートセンシング画像セグメンテーション性能を評価している。両手法が低ラベルおよびドメインシフト条件下でモデルの汎化性能を顕著に向上させることを示しており、特に新しい地理的地域でテストする場合、限定的なデータ条件下で最大6.0%の絶対的IoU向上を示した。

ABSTRACT

Self- and semi-supervised machine learning techniques leverage unlabeled data for improving downstream task performance. These methods are especially valuable for remote sensing tasks where producing labeled ground truth datasets can be prohibitively expensive but there is easy access to a wealth of unlabeled imagery. We perform a rigorous evaluation of SimCLR, a self-supervised method, and FixMatch, a semi-supervised method, on three remote sensing tasks: riverbed segmentation, land cover mapping, and flood mapping. We quantify performance improvements on these remote sensing segmentation tasks when additional imagery outside of the original supervised dataset is made available for training. We also design experiments to test the effectiveness of these techniques when the test set is domain shifted to sample different geographic areas compared to the training and validation sets. We find that such techniques significantly improve generalization performance when labeled data is limited and there are geographic domain shifts between the training data and the validation/test data.

研究の動機と目的

• 限られたラベル付きデータを用いたリモートセンシングタスクにおける自己教師あり（SimCLR）および半教師あり（FixMatch）学習の有効性を評価すること。
• 訓練データとは異なる地理的地域からのテストデータが与えられた場合、これらの手法がモデルの汎化性能を向上させるかどうかを調査すること。
• ImageNet、SimCLR、およびランダム初期化で事前学習したモデルの性能を、低ショットおよびドメインシフト設定下で比較すること。
• 多様な地理的地域からのラベルなしデータが、実世界のリモートセンシング応用におけるモデルの頑健性および転送可能性に与える影響を評価すること。

提案手法

• 大規模なラベルなしリモートセンシング画像（Sentinel-1、NAIP）を用いて事前学習したSimCLRで微調整されたセグメンテーションモデルを、特徴表現学習の向上を目的として微調整する。
• FixMatchは、ラベルなしデータの弱い増幅版と強い増幅版の間で一貫性正則化を適用する半教師あり学習手法であり、汎化性能の向上に寄与する。
• 3つのリモートセンシングセグメンテーションベンチマークでモデルを訓練する：チェサピーク湾の土地被覆（10万枚の画像）、河床セグメンテーション（1万枚の画像）、Sen1Floods11の洪水マッピング（1万1千枚の画像）。
• 2つの設定で性能を評価する：(1) 同じ分布からのテスト分割（IID）と、(2) 訓練データとは異なる地理的地域をテスト対象とするドメインシフトテスト分割。
• ピクセル単位の平均交差率（IoU）を主な評価指標として用い、画像サイズや水の割合の違いに関係なく一貫性を保つ。
• 複数の事前学習および半教師あり微調整設定を比較する：Supervised(ImageNet)、Supervised(SimCLR)、FixMatch(Random)、FixMatch(ImageNet)、FixMatch(SimCLR)。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが非常に少ない状況下で、自己教師あり（SimCLR）および半教師あり（FixMatch）手法がセグメンテーション性能をどのように向上させるか？
• RQ2 訓練データとは異なる地理的地域からのテストデータが与えられた場合、これらの手法がモデルの汎化性能をどの程度向上させるか？
• RQ3 リモートセンシング画像のラベルなしデータで事前学習（SimCLRを用いて）した場合、ImageNet事前学習よりも下流タスクの性能が向上するか？
• RQ4 豊富なラベル付きデータがある状況下で、半教師あり学習（FixMatch）が教師あり微調整よりも性能を劣化させる条件は何か？
• RQ5 異なるデータ分布およびドメインシフトを示すリモートセンシングセグメンテーションタスクにおいて、これらの手法の性能はどのように変化するか？

主な発見

• Sen1Floods11のドメインシフトパーティションにおいて、FixMatch(Random)は10%のラベル付きデータ条件下で、Supervised(Random)に比べて6.0%の絶対的IoU向上を達成し、分布シフト下での強力な汎化性能を示した。
• Sen1Floods11の10%ラベル付きデータ設定において、FixMatch(ImageNet)はSupervised(ImageNet)に比べて4.55%の絶対的IoU向上を示し、ラベルなしデータの有効活用を裏付けた。
• チェサピークの土地被覆データセットにおいては、FixMatch(SimCLR)がSupervised(SimCLR)と同等の性能を達成したが、それを上回ることはなかった。これは、事前学習がすでに効果的である場合には追加の利点がないことを示唆している。
• 100%ラベル付きデータのIIDパーティションにおいて、FixMatch(SimCLR)はSupervised(SimCLR)に比べて5.4%の性能低下を示した。これは、ラベル付きデータが十分に存在する状況では半教師あり手法が性能を劣化させる可能性があることを示している。
• Sen1Floods11の10%ラベル付きデータスプリットにおいて、FixMatch(Random)はSupervised(Random)に比べて2.5%のIoU向上を達成した。同様に、FixMatch(ImageNet)はその教師ありベースラインに比べて2.5%の向上を示した。
• 本研究では、自己教師ありおよび半教師あり学習による性能向上が、特に低ラベルおよびドメインシフト条件下で顕著であることが判明した。これは、地理的分布シフトが生じる実世界の展開状況において、これらの手法の価値を裏付けている。