[論文レビュー] TOV: The Original Vision Model for Optical Remote Sensing Image Understanding via Self-supervised Learning

Chao Tao, Ji Qia+4 more|arXiv (Cornell University)|Apr 10, 2022

Remote-Sensing Image Classification被引用数 9

ひとこと要約

本論文は、人間の視覚に類似した、タスクに依存しない方法で、多数のラベルなし遠隔センシング画像上で一般用途のビジョンモデルを事前学習する自己教師あり学習フレームワークであるTOV（The Original Vision model）を提案する。自然画像から遠隔センシング画像へと二段階の自己教師あり学習パスを経て訓練されたTOVは、12のベンチマーク（シーン分類、オブジェクト検出、セマンティックセグメンテーション）で最先端の性能を達成し、ImageNetで事前学習された手法や最近の自己教師あり学習手法を上回っている。

ABSTRACT

Do we on the right way for remote sensing image understanding (RSIU) by training models via supervised data-dependent and task-dependent way, instead of human vision in a label-free and task-independent way? We argue that a more desirable RSIU model should be trained with intrinsic structure from data rather that extrinsic human labels to realize generalizability across a wide range of RSIU tasks. According to this hypothesis, we proposed extbf{T}he extbf{O}riginal extbf{V}ision model (TOV) in remote sensing filed. Trained by massive unlabeled optical data along a human-like self-supervised learning (SSL) path that is from general knowledge to specialized knowledge, TOV model can be easily adapted to various RSIU tasks, including scene classification, object detection, and semantic segmentation, and outperforms dominant ImageNet supervised pretrained method as well as two recently proposed SSL pretrained methods on majority of 12 publicly available benchmarks. Moreover, we analyze the influences of two key factors on the performance of building TOV model for RSIU, including the influence of using different data sampling methods and the selection of learning paths during self-supervised optimization. We believe that a general model which is trained by a label-free and task-independent way may be the next paradigm for RSIU and hope the insights distilled from this study can help to foster the development of an original vision model for RSIU.

研究の動機と目的

• 遠隔センシング分野におけるタスク特化的・ラベル依存的ディープラーニングの限界を是正するため、人間の視覚認識にインspiredされた一般的でラベルフリーのビジョンモデルを提案すること。
• 多数のラベルなし遠隔センシングデータに対する自己教師あり学習が、現在の教師ありまたは対照的自己教師あり学習手法よりも一般性と適応性に優れたビジョンモデルを生み出せるかどうかを検証すること。
• データサンプリング戦略および学習パス設計が、一般用途の遠隔センシングビジョンモデルの性能に与える影響を調査すること。
• 外的ヒューマンアノテーションではなく、内在的なデータ構造の学習に依存する人間の視覚を模倣する新しい遠隔センシング画像理解のパラダイムを確立すること。
• 微調整を最小限に抑えても、多様なRSIUタスクに効果的に一般化できる1つの事前学習モデルの有効性を実証すること。

提案手法

• TOVは、二段階の自己教師あり学習（SSL）パイプラインを用いて事前学習される：まずウェブ規模の自然画像（TOV-NI）で、次に大規模なラベルなし遠隔センシング画像（TOV-RS-balanced）で。
• モデルはインスタンス識別に基づく対照的SSLを採用し、正例と負例のペairを区別することで不変特徴を学習する。データオーグメンテーションを適用して正例ペアを生成する。
• 継続的学習中に、自然画像から遠隔センシング画像へと順次データを処理する際のカリキュラス的フォーリング（catastrophic forgetting）を軽減するため、メモリ維持戦略が実装されている。
• 二重パス学習戦略を活用：$\<D_{NI}\rangle$, $\<D_{RS}\rangle$, および $\<D_{NI}, D_{RS}\rangle$ を用いて、学習順序とデータソースの多様性が与える影響を評価する。
• データサンプリング戦略の影響を評価し、特に遠隔センシングデータセットにおけるクラス不均衡問題への対処に与える影響を検証する。
• 転移性を評価するために、12の公開遠隔センシングベンチマーク（シーン分類、オブジェクト検出、セマンティックセグメンテーション）で微調整が実施された。

実験結果

リサーチクエスチョン

• RQ1 多数のラベルなし遠隔センシング画像で事前学習された自己教師ありビジョンモデルは、教師ありまたは既存の自己教師あり学習手法と比較して、多様な遠隔センシング画像理解タスクにおいて優れた一般化性能を示せるか？
• RQ2 自然画像から学習を開始し、その後遠隔センシング画像に移行する二段階の事前学習順序が、最終的なモデル性能に与える影響は何か？
• RQ3 データサンプリング戦略が、特にクラス不均衡な遠隔センシングデータセットにおいて、TOVモデルのロバスト性と一般化性能に与える影響は何か？
• RQ4 継続的学習中に、異種のデータソース（自然画像と遠隔センシング画像）を順次処理する際、メモリ維持戦略がカリキュラス的フォーリングを防止する効果はどの程度か？
• RQ5 自然画像と遠隔センシング画像の両方の知識を組み合わせることで、単独で使用する場合と比較して、特徴表現の質がどの程度向上するか？

主な発見

• TOVは、12の公開遠隔センシングベンチマーク（シーン分類、オブジェクト検出、セマンティックセグメンテーション）のうち10で、ImageNetで事前学習された手法および2つの最近の自己教師あり学習手法を上回った。
• 自然画像から学習を開始し、その後遠隔センシング画像で微調整する二段階の学習パスは、自然画像のみで学習した場合に比べ6.63%、遠隔センシング画像のみで学習した場合に比べ11.95%の平均正答率向上を達成した。
• 継続的学習中にメモリ維持戦略を採用したモデルは、採用しない場合（平均OA 59.90%）と比較して顕著に高い性能（平均OA 67.24%）を示し、カリキュラス的フォーリングの軽減に有効であることが確認された。
• 自然画像と遠隔センシング画像の両方を用いた一般→特化型の学習パスは、最も高い性能を達成し、多様なデータソースからの相補的知識獲得の有効性を示した。
• 遠隔センシングデータのみで学習したモデルは、自然画像のみで学習したモデルでさえも下回り、遠隔センシングデータのみでは一般的な視覚表現を学習するには不十分であることが示された。
• データサンプリング手法の選択が性能に顕著な影響を及ぼし、特にクラス不均衡な状況では、不適切なサンプリングが偽陰性を増加させ、特徴学習を劣化させることがわかった。