[論文レビュー] Scale-MAE: A Scale-Aware Masked Autoencoder for Multiscale Geospatial Representation Learning

Colorado Reed, Ritwik Gupta+8 more|arXiv (Cornell University)|Dec 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

Scale-MAE は、地上サンプリング距離（GSD）に基づく位置符号化とラプラシアン・ピラミッド・デコーダーを組み合わせることで、マルチスケールのリモートセンシング画像上でビジョントランスフォーマーを事前学習するスケールに注意を払ったマスキング自己符号化器です。この手法は、複数スケールでの低周波数および高周波数特徴の再構成を可能にし、非パrametricなkNN分類で平均2.4–5.6%の向上、SpaceNetの建物セグメンテーションで0.9–1.7 mIoUの向上を達成し、ヴァナイルMAE、SatMAE、ConvMAEを含む最先端手法を上回ります。

ABSTRACT

Large, pretrained models are commonly finetuned with imagery that is heavily augmented to mimic different conditions and scales, with the resulting models used for various tasks with imagery from a range of spatial scales. Such models overlook scale-specific information in the data for scale-dependent domains, such as remote sensing. In this paper, we present Scale-MAE, a pretraining method that explicitly learns relationships between data at different, known scales throughout the pretraining process. Scale-MAE pretrains a network by masking an input image at a known input scale, where the area of the Earth covered by the image determines the scale of the ViT positional encoding, not the image resolution. Scale-MAE encodes the masked image with a standard ViT backbone, and then decodes the masked image through a bandpass filter to reconstruct low/high frequency images at lower/higher scales. We find that tasking the network with reconstructing both low/high frequency images leads to robust multiscale representations for remote sensing imagery. Scale-MAE achieves an average of a $2.4 - 5.6\%$ non-parametric kNN classification improvement across eight remote sensing datasets compared to current state-of-the-art and obtains a $0.9$ mIoU to $1.7$ mIoU improvement on the SpaceNet building segmentation transfer task for a range of evaluation scales.

研究の動機と目的

• リモートセンシングにおける既存の自己教師付き事前学習手法にスケールに注意を払った要素が欠如していること、特に異なる空間スケールに一般化できないことに対処すること。
• 0.3m から 1km の広範囲の地上サンプリング距離（GSD）にわたって、1つの事前学習モデルが再トレーニングなしに効果的に一般化できるようにすること。
• 事前学習段階でスケール関係を明示的にモデル化することで、分類やセマンティックセグメンテーションを含むマルチスケールリモートセンシングタスクの下流性能を向上させること。
• スケール固有の微調整の必要性を減らすために、事前学習段階でスケール間で強固で転送可能な表現を学習すること。
• GSDに基づく位置符号化とマルチステージのラプラシアン・ピラミッド・デコーダーを組み合わせた、新しいアーキテクチャを導入すること。

提案手法

• Scale-MAE は、入力画像が実際にカバーする領域に基づいて位置埋め込みをスケーリングする地上サンプリング距離位置符号化（GSDPE）を備えたビジョントランスフォーマー（ViT）エンコーダーを使用しており、解像度ではなく物理的面積に基づく。
• モデルは入力画像のパッチをマスキングし、3段階のデコーダーを用いて再構成する：(1) 軽量なViTデコーダー、(2) 特徴マップのアップサンプリングを行う段階的デコンボリューション、(3) 低周波数および高周波数成分を抽出するラプラシアンブロック。
• デコーダーは2つの出力を生成する：平滑化された低周波数画像とエッジが豊富な高周波数リサイドル。それぞれに異なる損失関数を適用する：高周波数成分にはL1損失、低周波数成分にはL2損失。
• 同じエンコーダーが異なる既知のGSDを持つ画像を処理できるように、マルチスケール再構成目的で事前学習を行う。これにより、スケール不変表現を学習可能となる。
• GSDPEにより、ViTが空間的位置とスケールの両方を注視できるようになり、モデルが画像が地球上で物理的にどの程度の広がりを示しているかを理解できる。
• ラプラシアン・ピラミッド構造により、標準的なMAEよりも少ないデコーダー・パラメータ数でマルチスケール特徴の効率的な再構成が可能となり、高い性能を維持している。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習手法が、異なる既知の空間スケールの画像間の関係を明示的に学習することで、リモートセンシングにおける下流タスクの一般化性能を向上させることができるか？
• RQ2 地上面積を基にしたスケールに注意を払った位置符号化を組み込むことで、複数のGSDにわたるモデル性能にどのような影響を与えるか？
• RQ3 ラプラシアン・ピラミッド・デコーダーを用いて低周波数および高周波数成分を再構成することで、標準的なMAEや最近の変種と比較してより強固なマルチスケール表現が得られるか？
• RQ4 Scale-MAE は、SatMAE や ConvMAE などの最先端手法に比べて、マルチスケールリモートセンシングベンチマークでどの程度優れているか？
• RQ5 1つの事前学習モデルが、スケールごとの微調整なしに、多様な評価スケールで優れた性能を達成できるか？

主な発見

• 8つの多様なリモートセンシングデータセットにおいて、Scale-MAE は最先端手法と比較して非パrametricなkNN分類精度で平均2.4–5.6%の向上を達成した。
• SpaceNetの建物セグメンテーションベンチマークでは、複数の評価スケールでmIoUが0.9～1.7ポイント向上し、優れた一般化性能を示した。
• アブレーションスタディの結果、低周波数および高周波数成分の両方を再構成することで、片方のみを再構成する場合よりも高い性能が得られ、組み合わせ損失が個別損失を上回った。
• より少ないデコーダー層（例：2～4層）が、より深いデコーダーに比べて優れた性能を示しており、マルチスケール再構成と組み合わせた軽量なデコーダーで十分であることが示された。
• GSDに基づく位置符号化はスケール一般化を顕著に向上させ、これなしのモデルはスケール間での適応に失敗した。
• 高解像度再構成によるGPUメモリ使用量の増加にもかかわらず、Scale-MAE は高い効率性と一般化性能を維持しており、ヴァナイルMAE や最近のSOTA手法（SatMAE や ConvMAE）を上回った。