[論文レビュー] Multimodal contrastive learning for remote sensing tasks

Umangi Jain, Alex Wilson+1 more|arXiv (Cornell University)|Sep 6, 2022

Advanced Image and Video Retrieval Techniques被引用数 12

ひとこと要約

本論文は、ペア化されたSentinel-1（SAR）およびSentinel-2（光学）衛星画像を自然なポジティブサンプルとして用いるマルチモーダル対照学習フレームワークを提案する。この手法により、手作業によるデータ拡張の必要がなくなり、洪水セグメンテーションおよび土地被覆マッピングのタスクで最先端の性能を達成した。特に、SimCLRベースラインと比較して水領域のIoUが最大+8.26%向上した。

ABSTRACT

Self-supervised methods have shown tremendous success in the field of computer vision, including applications in remote sensing and medical imaging. Most popular contrastive-loss based methods like SimCLR, MoCo, MoCo-v2 use multiple views of the same image by applying contrived augmentations on the image to create positive pairs and contrast them with negative examples. Although these techniques work well, most of these techniques have been tuned on ImageNet (and similar computer vision datasets). While there have been some attempts to capture a richer set of deformations in the positive samples, in this work, we explore a promising alternative to generating positive examples for remote sensing data within the contrastive learning framework. Images captured from different sensors at the same location and nearby timestamps can be thought of as strongly augmented instances of the same scene, thus removing the need to explore and tune a set of hand crafted strong augmentations. In this paper, we propose a simple dual-encoder framework, which is pre-trained on a large unlabeled dataset (~1M) of Sentinel-1 and Sentinel-2 image pairs. We test the embeddings on two remote sensing downstream tasks: flood segmentation and land cover mapping, and empirically show that embeddings learnt from this technique outperform the conventional technique of collecting positive examples via aggressive data augmentations.

研究の動機と目的

• 遠隔センシングにおける自己教師付き学習におけるハイパーパramータに依存するデータ拡張の課題に対処すること。
• 異なるモダリティのセンサから得られるクロスセンサ衛星画像が、対照学習における有効なポジティブペアとして機能するかを検討すること。
• ImageNetや手作業による拡張チューニングに依存せずに、洪水セグメンテーションや土地被覆マッピングなどの遠隔センシングタスクの下流性能を向上させること。
• 異なるセンサからの自然なマルチモーダルデータが、人工的に生成されたビューに比べて優れた表現を生み出せることを示すこと。

提案手法

• 約100万件の、同じ地理的場所および近接する時刻に撮影されたSentinel-1およびSentinel-2画像のラベルなしペアを用いて、二重エンコーダー構造が対照損失で訓練される。
• ポジティブペアは、同じ空間的・時間的近接性にある異なるセンサの画像をマッチングすることで自然に形成され、手作業による拡張が不要になる。
• ペア化されたSARおよび光学画像の埋め込み間の対照損失を最小化することで、モデルは統合表現を学習し、ネガティブペアは分離させる。
• 大規模かつ多様なマルチモーダル衛星ペアデータセットを用いて事前学習を行い、下流タスクへの一般化を可能にする。
• 複雑な拡張ハイパーパramータの探索を回避するため、各モダリティ別に簡単な空間的拡張（例：クロップ、フリップ）を用いる。
• 洪水セグメンテーション（Sen1Floods11）や土地被覆分類（Dynamic World）などの下流タスクにファインチューニングを適用し、IoUおよび正答率などの指標で評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるセンサから得られる自然なマルチモーダル衛星画像ペアは、遠隔センシングにおける対照学習の有効なポジティブサンプルとして機能できるか？
• RQ2 マルチモーダル事前学習は、従来の拡張ベースの自己教師付き学習（例：SimCLR）に比べ、下流の遠隔センシングタスクで優れた性能を示すか？
• RQ3 手作業による拡張ハイパーパramータチューニングが不要である場合、SARおよび光学センサからの補完的情報を活用することでその欠如を補えるか？
• RQ4 マルチモーダル事前学習は、テクスチャや表面粗さに敏感な土地被覆クラスにおいて、性能にどのように影響を与えるか？
• RQ5 提案手法は、異なる遠隔センシングタスクおよびセンサコンビネーションに一般化可能か？

主な発見

• Sen1Floods11の洪水セグメンテーションタスクにおいて、マルチモーダル事前学習モデルは水領域でSimCLRに比べ+8.26%の絶対的IoU向上を達成し、建物区域では+6.24%向上した。
• Dynamic World（Sentinel-2）データセットでは、マルチモーダルチェックポイントが水領域で+8.26%、雪/氷領域で+8.05%の絶対的IoU向上を達成し、SARで検出可能な表面タイプで最も高い向上が観察された。
• Dynamic World（Sentinel-1）では、マルチモーダルモデルがSARの改善版拡張を用いたSimCLRベースラインと比較して、作物領域で+3.36%、建物区域で+2.52%のIoU向上を示したが、雪/氷および裸地クラスではわずかな劣化が見られた。
• マルチモーダルペアが inherently 強力なポジティブ信号を提供するため、データ拡張の高コストなハイパーパramータチューニングの必要性が低減された。
• Sen1Floods11データセットでは、マルチモーダルチェックポイントを用いたファインチューニングが、SimCLRに比べてピーク性能に達するまでに約2.4倍速く到達した。これは、トレーニング効率の向上を示している。
• SAR用に改善されたSimCLR拡張（ジッタ強度の低減）を用いても、マルチモーダルモデルは依然として優れた性能を示し、そのロバスト性と優位性を裏付けた。