[論文レビュー] CROMA: Remote Sensing Representations with Contrastive Radar-Optical Masked Autoencoders

Anthony T. Fuller, Koreen Millard+1 more|arXiv (Cornell University)|Nov 1, 2023

Synthetic Aperture Radar (SAR) Applications and Techniques被引用数 14

ひとこと要約

CROMAは対照学習を用いたレーダー–光学学習とマスク付き自己符号化を組み合わせて、豊かな単一モーダルおよび multimodal のリモートセンシング表現を学習し、より大きな画像への外挿を可能にするとともに、いくつかのベンチマークで従来の多スペクトルモデルを上回る。

ABSTRACT

A vital and rapidly growing application, remote sensing offers vast yet sparsely labeled, spatially aligned multimodal data; this makes self-supervised learning algorithms invaluable. We present CROMA: a framework that combines contrastive and reconstruction self-supervised objectives to learn rich unimodal and multimodal representations. Our method separately encodes masked-out multispectral optical and synthetic aperture radar samples -- aligned in space and time -- and performs cross-modal contrastive learning. Another encoder fuses these sensors, producing joint multimodal encodings that are used to predict the masked patches via a lightweight decoder. We show that these objectives are complementary when leveraged on spatially aligned multimodal data. We also introduce X- and 2D-ALiBi, which spatially biases our cross- and self-attention matrices. These strategies improve representations and allow our models to effectively extrapolate to images up to 17.6x larger at test-time. CROMA outperforms the current SoTA multispectral model, evaluated on: four classification benchmarks -- finetuning (avg. 1.8%), linear (avg. 2.4%) and nonlinear (avg. 1.4%) probing, kNN classification (avg. 3.5%), and K-means clustering (avg. 8.4%); and three segmentation benchmarks (avg. 6.4%). CROMA's rich, optionally multimodal representations can be widely leveraged across remote sensing applications.

研究の動機と目的

• リモートセンシングにおけるラベル付きデータの不足を動機づけ、Sentinel-1 SARとSentinel-2 opticalを用いた空間的に整列した多モーダルデータから豊かな自己教師あり表現を学習する。
• 対照学習とマスクドオートエンコーディングを組み合わせて、単一モーダルおよび多モーダルの表現を学習する枠組みを開発する。
• 注意機構における空間バイアス化（2D-ALiBiとX-ALiBi）を導入して一般化とモーダル間フュージョンを改善し、テスト時の外挿をより大きな画像サイズへ可能にする。

提案手法

• 3つのエンコーダがレーダー、光学、共有のレーダー–光学入力を処理する（ViTベース）。
• 軽量デコーダを用いて、両モダリティのマスクされたパッチを再構成するマスクドオートエンコーディング目的。
• レーダー↔光学の対照損失がモダリティ横断の単一モーダル表現を整合させる。
• クロスモーダル多模合成エンコーダ fRO は光学エンコーディングへのクロスアテンションを介してジョイント表現を学習する。
• 2D-ALiBiが自己注意を2Dパッチ距離でバイアスし、X-ALiBiがクロスアテンションをバイアスしてフュージョンを改善する。
• マルチモーダル再構成ターゲット（14チャネル）は、光学のみターゲットを超えるマルチモーダル表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 リモートセンシングのタスクにおいて、レーダー–光学の結合自己教師ありフレームワークが単一モダリティの事前学習を上回ることができるか？
• RQ2 再構成と対照目的は、空間的に整列した多モーダルリモートセンシングデータから学習する際に互いに補完し合うか？
• RQ3 2D-ALiBiとX-ALiBiは、より大きな画像サイズへの外挿とクロスモーダルフュージョンにどのような影響を与えるか？

主な発見

• CROMAは、ファインチューニング、線形プロービング、非線形プロービング、さらにはkNNおよびK-meansクラスタリングで評価した4つの分類ベンチマークにおいて、現状の最先端多スペクトルモデルSatMAEを上回る。
• CROMAは3つのSentinel-2ベンチマークでより強力なセグメンテーション性能を示し、ViT-BとViT-Lの両方のバックボーンでSatMAEを平均して上回る。
• ジョイントの多モーダル表現（レーダー–光学）は光学のみの表現より性能を向上させ、BigEarthNetおよびDynamic Worldベンチマークで顕著な向上を示す。
• 2D-ALiBiとX-ALiBiのバイアスのおかげで、テスト時に最大で17.6×大きい画像への外挿を、わずかな劣化とともに示す。
• レーダーのみおよびレーダー–光学のベースラインと比較して、CROMAの多モーダル表現は強い線形プロービング性能を示し、DeCURのような同時期の多モーダル手法に対して競争力がある。
• アブレーション研究は、対照学習と再構成目的の組み合わせと提案された位置バイアスが、性能と外挿能力の鍵であることを確認している。