[論文レビュー] Revisiting pre-trained remote sensing model benchmarks: resizing and normalization matters

Isaac Corley, Caleb Robinson+3 more|arXiv (Cornell University)|May 22, 2023

Remote-Sensing Image Classification被引用数 6

ひとこと要約

この論文は、リモートセンシング画像を単にImageNetの事前学習で使用された前処理に合わせてリサイズおよび正規化すること——具体的には224×224の入力サイズとImageNet風の正規化——によって、下流の転移学習タスクで顕著な性能向上が得られることを示している。主な貢献は、適切な前処理が施された場合、ImageNet事前学習が、複数のベンチマークで特化した自己教師付きモデルを上回る強力なベースラインを維持することを示したことである。

ABSTRACT

Research in self-supervised learning (SSL) with natural images has progressed rapidly in recent years and is now increasingly being applied to and benchmarked with datasets containing remotely sensed imagery. A common benchmark case is to evaluate SSL pre-trained model embeddings on datasets of remotely sensed imagery with small patch sizes, e.g., 32x32 pixels, whereas standard SSL pre-training takes place with larger patch sizes, e.g., 224x224. Furthermore, pre-training methods tend to use different image normalization preprocessing steps depending on the dataset. In this paper, we show, across seven satellite and aerial imagery datasets of varying resolution, that by simply following the preprocessing steps used in pre-training (precisely, image sizing and normalization methods), one can achieve significant performance improvements when evaluating the extracted features on downstream tasks -- an important detail overlooked in previous work in this space. We show that by following these steps, ImageNet pre-training remains a competitive baseline for satellite imagery based transfer learning tasks -- for example we find that these steps give +32.28 to overall accuracy on the So2Sat random split dataset and +11.16 on the EuroSAT dataset. Finally, we report comprehensive benchmark results with a variety of simple baseline methods for each of the seven datasets, forming an initial benchmark suite for remote sensing imagery.

研究の動機と目的

• リモートセンシングにおける転移学習性能に与える入力画像のリサイズおよび正規化の影響を調査すること。
• ImageNet事前学習モデルを小規模なパッチ型リモートセンシングデータセットに適用する際、性能を低下させる見過ごされた前処理の不一致を同定すること。
• 今後のリモートセンシング自己教師付き学習ベンチマークのための強力でシンプルなベースラインを確立すること。
• 7つの多様なリモートセンシングデータセットにわたる標準化された評価プロトコルを用いた、透明性と再現性に優れたベンチマークスイートを提供すること。

提案手法

• 元の小さなサイズ（例：32×32、64×64）の入力画像を、ImageNet事前学習で使用された入力サイズと一致させるために224×224にリサイズした。
• ImageNet風の正規化を適用：[0,1]へのミニマムマックススケーリングの後、ImageNetの平均および標準偏差を用いたチャネル別標準化を実施した。
• 7つのリモートセンシングデータセット上で、ImageNet事前学習済みのResNet-50およびビジョントランスフォーマーモデルから抽出した特徴量を、K近傍法（KNN）および線形プローブを用いて評価した。
• ランダム畳み込み特徴量（RCF）、画像統計、および最先端の自己教師付きモデル（例：MOSAIKS、Scale-MAE）を含む複数のベースラインと性能を比較した。
• すべてのデータセットで一貫した前処理、モデルアーキテクチャ、評価プロトコルを用いて標準化された評価を実施し、公平な比較を確保した。
• 一般化性と耐性を評価するために、So2Satにおけるランダムスプリットおよびカルチャーベーススプリットなど、複数のスプリットでの結果を報告した。

Figure 1: Difference in downstream task metrics, Overall Accuracy (OA) (multiclass) or mean Average Precision (mAP) (multilabel), after resizing images to 224 × 224 from the original, smaller, image size. ImageNet pre-trained models, for example, often are trained with 224 x 224 inputs and therefore

実験結果

リサーチクエスチョン

• RQ1 ImageNet事前学習モデルを用いる際、リモートセンシング画像を32×32や64×64から224×224にリサイズすることで、下流の転移学習性能が向上するか？
• RQ2 リモートセンシングにおけるデータセット固有の正規化と比較して、ImageNet風の正規化（ミニマムマックス＋チャネル別標準化）が特徴量の質をどの程度向上させるか？
• RQ3 ImageNet事前学習、RCF、画像統計といったシンプルなベースラインは、リモートセンシングベンチマークにおいて最先端の自己教師付き学習モデルと比較してどうなるか？
• RQ4 一部のリモートセンシングデータセットでは、RGB入力にマルチスペクトルバンドを追加すると性能が低下するが、その理由は事前学習済みモデルとランダムモデルの間でどのように異なるか？
• RQ5 リモートセンシングの転移学習における表現品質を評価する際、KNNは線形プローブよりも信頼性が高いとされるか？

主な発見

• 64×64の画像を224×224にリサイズすることで、EuroSATにおけるResNet-50の精度が0.82から0.91に上昇し、9.1%の絶対的向上が確認された。
• リサイズ後にImageNet正規化（ミニマムマックススケーリング＋チャネル別標準化）を適用したことで、EuroSATの精度が0.66から0.91に上昇し、正規化がリサイズと同等の影響を持つことが示された。
• So2Satのランダムスプリットにおいて、ImageNet事前学習がSSL4EO MoCo-v2といった特化した自己教師付きモデルを上回り、全体で+32.28%の精度向上を達成した。
• 画像統計ベースラインは、1つのマルチスペクトルデータセットを除き、すべてのデータセットでImageNet事前学習を上回り、最も悪いケースでも0.25%低いスコアにとどまった。
• SAT-6では、ランダム初期化を除くすべての手法が99%以上の精度を達成しており、比較に意味がないほど単純なデータセットであることが示された。
• MOSAIKS（実験的重みを用いたRCF）は、5つのマルチスペクトルデータセットのうち4つで上位2位以内にランクされ、ImageNetおよびリモートセンシング用自己教師付き学習モデルを上回った。

Figure 2: The effect of input image size on EuroSAT downstream performance (overall accuracy) across different ResNet models. By default, EuroSAT images are 64 × 64 pixels, however resizing to larger image sizes before embedding increases downstream accuracy under a KNN ( $k=5$ ) classification mode