[論文レビュー] In-domain representation learning for remote sensing

Maxim Neumann, André Susano Pinto+2 more|arXiv (Cornell University)|Nov 15, 2019

Remote-Sensing Image Classification参考文献 31被引用数 34

ひとこと要約

The paperTrainin g は、five remote sensing datasets を使って in-domain representation learning を研究し、in-domain representations のファインチューニングが、特に限られたラベル付きデータで、タスク全体で最先端の結果をもたらすことを示します。

ABSTRACT

Given the importance of remote sensing, surprisingly little attention has been paid to it by the representation learning community. To address it and to establish baselines and a common evaluation protocol in this domain, we provide simplified access to 5 diverse remote sensing datasets in a standardized form. Specifically, we investigate in-domain representation learning to develop generic remote sensing representations and explore which characteristics are important for a dataset to be a good source for remote sensing representation learning. The established baselines achieve state-of-the-art performance on these datasets.

研究の動機と目的

• in-domain supervised fine-tuning による汎用的なリモートセンシング表現の開発。
• five diverse remote sensing datasets への標準化されたアクセスを提供。
• 共通の評価プロトコルとベンチマーキングのための強力なベースラインを確立。

提案手法

• TensorFlow Datasets において、固定の train/val/test 分割で five remote sensing datasets を標準化。
• 公正な比較のため、実験全体のバックボーンとして ResNet-50 v2 を使用。
• varying downstream data sizes に対して、in-domain 表現の転移性能を ImageNet-pretrained および scratch-trained モデルと比較。
• 多クラスには top-1 accuracy、マルチラベルには mean average precision を用いて評価し、集計にはロジット変換済みの精度を使用。
• データセットの特性（例：多様性、ラベル品質）が表現学習の有効性に与える影響を分析。

実験結果

リサーチクエスチョン

• RQ1 in-domain supervised fine-tuning は ImageNet pre-training や from-scratch training よりも転移可能なリモートセンシング表現を生み出せるか？
• RQ2 データサイズ、多様性、ラベル品質を考慮して、異なるリモートセンシングデータセットが一般表現学習のソースとしてどのように機能するか？
• RQ3 限られたラベル付きデータで unseen のリモートセンシングタスクへ in-domain 表現を転移した際にどのような下流の性能向上が得られるか？

主な発見

• in-domain 表現は、 unseen のリモートセンシングタスクへ転移する際、特に小さな下流データ予算の場合に ImageNet ベースラインを一般的に上回る。
• RESISC-45 は、航空画像と衛星データの一般表現のための特に効果的なソースとして浮上しました。一方、BigEarthNet と So2Sat は弱いラベリングのため時に遅れます。
• in-domain 表現のファインチューニングは、評価対象の5データセットのうち4つで一貫して最良の下流性能をもたらし、例外は1つ（全データ時の BigEarthNet）です。
• より大きな弱ラベル付きデータセットが、表現学習のための小さくて多様で人手でキュレーションされたデータセットを常に上回るわけではありませんでした。
• マルチ解像度データセットとラベル品質／多様性の要因が、学習された表現の品質に大きく影響します。