[論文レビュー] FoMo: Multi-Modal, Multi-Scale and Multi-Task Remote Sensing Foundation Models for Forest Monitoring

Nikolaos Ioannis Bountos, Arthur Ouaknine+2 more|arXiv (Cornell University)|Dec 15, 2023

Remote Sensing and LiDAR Applications被引用数 5

ひとこと要約

本稿では、15種類の多様なリモートセンシングデータセット（特に木の種類分類のための新規グローバルデータセットTalloSを含む）を統合した、最初のマルチモーダルでマルチスケールかつマルチタスクの森林モニタリングベンチマーク「FoMo-Bench」を紹介する。また、スペクトルバンドをマスクした自己符号化による事前学習を経たフォンダショングレースモデル「FoMo-Net」を提案し、分類、セグメンテーション、検出の各タスクにおいて、多様な森林モニタリングベンチマークで強力なゼロショットおよび微調整性能を達成した。

ABSTRACT

Forests are vital to ecosystems, supporting biodiversity and essential services, but are rapidly changing due to land use and climate change. Understanding and mitigating negative effects requires parsing data on forests at global scale from a broad array of sensory modalities, and using them in diverse forest monitoring applications. Such diversity in data and applications can be effectively addressed through the development of a large, pre-trained foundation model that serves as a versatile base for various downstream tasks. However, remote sensing modalities, which are an excellent fit for several forest management tasks, are particularly challenging considering the variation in environmental conditions, object scales, image acquisition modes, spatio-temporal resolutions, etc. With that in mind, we present the first unified Forest Monitoring Benchmark (FoMo-Bench), carefully constructed to evaluate foundation models with such flexibility. FoMo-Bench consists of 15 diverse datasets encompassing satellite, aerial, and inventory data, covering a variety of geographical regions, and including multispectral, red-green-blue, synthetic aperture radar and LiDAR data with various temporal, spatial and spectral resolutions. FoMo-Bench includes multiple types of forest-monitoring tasks, spanning classification, segmentation, and object detection. To enhance task and geographic diversity in FoMo-Bench, we introduce TalloS, a global dataset combining satellite imagery with ground-based annotations for tree species classification across 1,000+ categories and hierarchical taxonomic levels. Finally, we propose FoMo-Net, a pre-training framework to develop foundation models with the capacity to process any combination of commonly used modalities and spectral bands in remote sensing.

研究の動機と目的

• 森林モニタリングのための統合的で大規模なベンチマークが、多様なデータモダリティ、スケール、タスクを統合していないという課題に対処すること。
• TalloSを導入することで、グローバルな地理的・分類的カバレッジを向上させ、1,100種類を超える木の種類クラスを含むマルチモーダルデータセットを提供すること。
• 複数のリモートセンシングセンサーやスペクトルバンドを処理できるフォンダショングレースモデルFoMo-Netを開発すること。
• 多様なリモートセンシングデータを用いた自己教師付き事前学習により、マルチタスクでマルチモーダルな森林モニタリングの強力なベースラインを確立すること。
• 公開可能なベンチマークとモデルを通じて、機械学習研究者と森林生物学研究者の協働を促進すること。

提案手法

• FoMo-Benchは、衛星、航空、インventryデータをカバーする15の公開済みデータセットを統合し、マルチスペクトル、RGB、SAR、LiDARのモダリティを、複数の空間的・時間的・スペクトル的解像度で統合している。
• TalloSは、Sentinel-2、Sentinel-1、ERA-5気象データ、標高、および地理的に位置指定された木の種類ラベルを統合した新規グローバルデータセットであり、階層的マルチクラス分類を目的としている。
• FoMo-Netは、多様なリモートセンシング製品において、ランダムにマスクされたスペクトルバンドを対象にした自己符号化（MAE）目的関数を用いて事前学習された、ビジョントランスフォーマー基盤のフォンダショングレースモデルである。
• 事前学習フレームワークにより、モデルは欠落したスペクトルバンドを再構築でき、センサータイプや解像度の違いを越えて、強固で汎用性の高い表現を学習する。
• FoMo-Netの微調整は、土地利用／土地被覆分類、木の種類分類、セマンティックセグメンテーション、オブジェクト検出などの下流タスクで実施された。
• モデルはFoMo-Bench上で複数のタスクで評価され、専用モデルおよびランダムベースラインと比較された。

Figure 1 : The Forest Monitoring Benchmark. FoMo-Bench is composed of fifteen datasets, including TalloS (ours), counting seven groups of data with distinct physical properties and three tasks. In parallel, we introduce FoMo-Net, a baseline forest foundation model pre-trained using a spectral band m

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルでマルチスケールかつマルチタスクのリモートセンシングデータを統合した統一ベンチマークが、森林モニタリングモデルの評価および開発をどのように改善するか？
• RQ2 スペクトルバンドのマスク再構築による事前学習を経たフォンダショングレースモデルは、多様な森林モニタリングタスクおよびセンサータイプにどのように一般化するか？
• RQ3 グローバルで細分化された木の種類データ（例：TalloS）を統合することで、種類分類タスクにおけるモデル性能はどの程度向上するか？
• RQ4 一般用途のフォンダショングレースモデル（例：FoMo-Net）は、分類、セグメンテーション、検出タスクにおいて、タスク特化型モデルと比較してどの程度の性能を示すか？
• RQ5 フォンダショングレースモデルは、低解像度または複雑な空間構造（例：木の冠）を有するオブジェクト検出タスクを処理するにあたり、どのような主な制限を抱えているか？

主な発見

• FoMo-NetはTreeSatAIデータセットにおいて、オブジェクト検出タスクで専用モデルを上回るマイクロ-F1スコアを達成し、強力な一般化能力を示した。
• 土地利用／土地被覆分類およびマルチクラス木の種類分類タスクにおいて顕著な性能向上を示し、TalloSにおけるマイクロ-F1スコアはランダムベースライン（約1/1159）を著しく上回った。
• セグメンテーションタスクにおいて、顕著な解像度のギャップがあるにもかかわらず、専用モデルと同等の結果を達成し、強力なセマンティック基盤を提供した。
• オブジェクト検出タスクでは、専用検出器と比較して性能が劣ったことから、個々の木の局所化および分類に課題を抱えていることが示された。
• マスク自己符号化による事前学習により、FoMo-Netは多様なセンサーや地上サンプリング距離において欠落したスペクトルバンドを再構築でき、超解像応用への可能性を示唆した。
• モデルの性能は、木の種類データにおけるクラスの不均衡および地理的スパarsityに制限を受けており、種の出現地図などの生物学的事前知識の統合の必要性を浮き彫りにした。

(a) FoMo-Bench spatial distribution without TalloS.