[論文レビュー] CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations

Gengchen Mai, Ni Lao+3 more|arXiv (Cornell University)|May 1, 2023

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

CSPはジオタグ付きデータ上で自己教師付き対照学習を用いて画像エンコーダと位置エンコーダを共同に事前学習するデュアルエンコーダフレームワークを導入し、few-shotおよび完全教師ありの地理空間画像分類を改善します。

ABSTRACT

Geo-tagged images are publicly available in large quantities, whereas labels such as object classes are rather scarce and expensive to collect. Meanwhile, contrastive learning has achieved tremendous success in various natural image and language tasks with limited labeled data. However, existing methods fail to fully leverage geospatial information, which can be paramount to distinguishing objects that are visually similar. To directly leverage the abundant geospatial information associated with images in pre-training, fine-tuning, and inference stages, we present Contrastive Spatial Pre-Training (CSP), a self-supervised learning framework for geo-tagged images. We use a dual-encoder to separately encode the images and their corresponding geo-locations, and use contrastive objectives to learn effective location representations from images, which can be transferred to downstream supervised tasks such as image classification. Experiments show that CSP can improve model performance on both iNat2018 and fMoW datasets. Especially, on iNat2018, CSP significantly boosts the model performance with 10-34% relative improvement with various labeled training data sampling ratios.

研究の動機と目的

• 豊富なラベルなしのジオタグ付き画像を活用して、画像特徴を補完する位置表現を学習する。
• 位置と画像を個別にエンコードするデュアルエンコーダフレームワークを開発し、対照学習目的で訓練する。
• ジオ空間表現学習を最適化するために、複数の正例/負例サンプリング戦略と対照的損失を探索する。
• CSPが地理空間分類のベンチマーク（iNat2018、fMoW）において、few-shotおよび完全教師ありの性能を改善することを示す。

提案手法

• 地理座標用の位置エンコーダe(x)と視覚特徴用の画像エンコーダf(I)を用い、共通のd次元空間に射影する。
• NCEまたはMCの対照損失を用いて、3つのサンプリング戦略（バッチ内ネガティブ、ランダムネガティブ位置、SimCSEベースのドロップアウトペア）を用いて画像および位置表現を事前学習する。
• 2段階の訓練を採用：画像エンコーダを画像上で事前学習し、次にそれを固定して、凍結した画像バックボーンを用いて位置エンコーダを事前学習する。
• ラベル付きデータで画像エンコーダと位置エンコーダを個別にファインチューニングし、推論時に確率的結合で予測を融合する。
• iNat2018でのfew-shotサンプリングとiNat2018およびfMoWでの完全教師あり設定で評価する。
• サンプリング方法、損失の影響、埋め込み次元、および画像バックボーンの選択を評価するアブレーション研究を提供する。

(a) Arctic Fox

実験結果

リサーチクエスチョン

• RQ1 自己教師付き対照的前学習を通じて学習した地理空間情報は、特にfew-shot領域で、下流の地理空間画像分類を改善しますか？
• RQ2 地理タグ付きデータを最大限活用して位置と画像表現を整合させるのに最適なサンプリング戦略と損失関数はどれですか？
• RQ3 異なる画像バックボーンと位置埋め込み次元で、few-shotおよび完全データ設定の両方におけるCSPの性能はどうですか？

主な発見

Ratio %	Img. Only (ImageNet)	Sup. Only (wrap)	Sup. Only (grid)	MSE	CSP-NCE-BLD	CSP-MC-BLD
5%	5.28	7.12	8.16	8.15	8.65	9.01
10%	12.44	12.50	14.65	17.80	18.75	19.68
20%	25.33	25.36	25.40	27.56	28.15	29.61
100%	60.2	72.41	72.98	73.27	73.33	73.79

• MC損失を用いたCSP-HLDは、purely supervisedや他のCSPバリアントを含むベースラインをfew-shotおよび全データの領域で一貫して上回ります（iNat2018）。
• iNat2018では、CSP-MC-BLDが強力なベースラインに対してfew-shotシナリオ（ラベル付きデータ5%、10%、20%）で相対的に最大10-34%の改善を達成します。
• 3つのサンプリング戦略とMC損失を組み合わせると、テストされた構成の中で最良の位置の事前学習性能をもたらします。
• 画像エンコーダと統合した場合、完全教師あり設定でもCSPは性能を向上させます。
• CSP事前学習後、位置埋め込みは意味のある地域的クラスタリングを示し、生態系/気候域と一致する学習された空間パターンを反映します。
• ViTをバックボーンとする画像エンコーダはCSPの恩恵を受け、CNNベースのエンコーダより一貫して利得があります。

(b) Arctic Fox Locations