[論文レビュー] Transfer Learning with Pretrained Remote Sensing Transformers

Anthony T. Fuller, Koreen Millard+1 more|arXiv (Cornell University)|Sep 28, 2022

Remote-Sensing Image Classification被引用数 6

ひとこと要約

本稿では、130万枚のリモートセンシング画像を用いて事前学習された視覚変換器SatViT-V2を紹介し、多様なバイオームにおける転移学習性能を評価している。分布シフト下でも優れたロバスト性を示し、先行モデルより2.8%高い性能を示しており、線形プローブ微調整によりキャリブレーションが向上し、1,638件のバイオーム転移実験において優れた汎化性能を発揮している。

ABSTRACT

Although the remote sensing (RS) community has begun to pretrain transformers (intended to be fine-tuned on RS tasks), it is unclear how these models perform under distribution shifts. Here, we pretrain a new RS transformer--called SatViT-V2--on 1.3 million satellite-derived RS images, then fine-tune it (along with five other models) to investigate how it performs on distributions not seen during training. We split an expertly labeled land cover dataset into 14 datasets based on source biome. We train each model on each biome separately and test them on all other biomes. In all, this amounts to 1638 biome transfer experiments. After fine-tuning, we find that SatViT-V2 outperforms SatViT-V1 by 3.1% on in-distribution (matching biomes) and 2.8% on out-of-distribution (mismatching biomes) data. Additionally, we find that initializing fine-tuning from the linear probed solution (i.e., leveraging LPFT [1]) improves SatViT-V2's performance by another 1.2% on in-distribution and 2.4% on out-of-distribution data. Next, we find that pretrained RS transformers are better calibrated under distribution shifts than non-pretrained models and leveraging LPFT results in further improvements in model calibration. Lastly, we find that five measures of distribution shift are moderately correlated with biome transfer performance. We share code and pretrained model weights. (https://github.com/antofuller/SatViT)

研究の動機と目的

• 多様なバイオームにおける分布シフト下での事前学習済みリモートセンシング変換器のロバスト性を評価すること。
• 事前学習済みビジョン変換器を用いた転移学習が、分布外のリモートセンシングデータにおける性能向上に寄与するかどうかを調査すること。
• 分布シフト下でのモデル精度とキャリブレーションに与える線形プローブ微調整（LPFT）の影響を評価すること。
• 転移学習性能と相関する測定可能な分布シフトの指標を同定すること。
• 再現可能性およびコミュニティ利用を促進するため、コードと事前学習済み重みを公開すること。

提案手法

• 自己教師付きコントラスト学習を用いて、130万枚の衛星由来のリモートセンシング画像を用いてビジョン変換器（SatViT-V2）を事前学習した。
• 14の専門家ラベル付き土地被覆データセット（それぞれが異なるバイオームに対応）に対して、SatViT-V2と5つのベースラインモデルを微調整した。
• 1,638件の転移実験を通じて性能を評価し、1つのバイオームで学習し、他のすべてのバイオームでテストすることで、分布シフトを模擬した。
• 収束性と汎化性能の向上を目的として、線形プローブ微調整（LPFT）を初期化戦略として適用した。
• 期待キャリブレーション誤差（ECE）を用いてモデルのキャリブレーションを定量的に評価し、分布内および分布外設定におけるキャリブレーション性能を比較した。
• ドメインの乖離や特徴分布のシフトなど、5つの分布シフト指標を測定し、それらを転移精度と相関させた。

実験結果

リサーチクエスチョン

• RQ1 SatViT-V2は、SatViT-V1などの先行モデルと比較して、分布外のリモートセンシングデータにおいてどのように性能を発揮するか？
• RQ2 線形プローブ微調整（LPFT）は、分布シフト下でどれほど精度とキャリブレーションを向上させるか？
• RQ3 リモートセンシングにおける転移学習性能と相関する測定可能な分布シフト指標は存在するか？
• RQ4 分布シフト下でモデルのキャリブレーションはどのように変化するのか？また、LPFTはそれを改善するか？
• RQ5 LPFTによる性能向上は、多様なバイオームおよび分布シフトの状況においても持続的か？

主な発見

• SatViT-V2は、すべてのバイオーム転移実験において、分布内データではSatViT-V1より3.1%、分布外データでは2.8%高い性能を示した。
• 線形プローブ微調整（LPFT）により、SatViT-V2の性能は分布内データで1.2%、分布外データで2.4%向上した。
• 分布シフト下では、事前学習済み変換器が非事前学習モデルよりも優れたキャリブレーションを示し、LPFTによりキャリブレーション品質がさらに向上した。
• 分布シフトの5つの指標は、バイオーム転移性能と中程度の相関を示し、予測可能なシフトに敏感な評価の可能性を示唆した。
• 14のバイオームすべてで一貫した性能向上が得られ、実世界のリモートセンシングシナリオにおける強力な汎化能力を示した。
• 著者らは、再現可能性および将来的なリモートセンシングビジョン表現学習分野の研究を促進するため、コードと事前学習済み重みを公開した。