[論文レビュー] Adapting Segment Anything Model for Change Detection in HR Remote Sensing Images

Lei Ding, Kun Zhu+4 more|arXiv (Cornell University)|Sep 4, 2023

Remote-Sensing Image Classification被引用数 5

ひとこと要約

本稿では、非常に高解像度（VHR）リモートセンシング画像（RSI）における変化検出のため、FastSAMのビジョン基盤モデルを適応させる新規手法SAM-CDを提案する。本手法は、タスク固有の変化特徴集約のための畳み込みアダプタと、時間的整合性をモデル化するためのタスクに依存しない意味的学習ブランチを統合している。このアプローチにより、限られた学習データでも高い精度を達成し、完全教師ありSOTA手法を上回り、限られたデータで半教師あり手法と同等の性能を示す。

ABSTRACT

Vision Foundation Models (VFMs) such as the Segment Anything Model (SAM) allow zero-shot or interactive segmentation of visual contents, thus they are quickly applied in a variety of visual scenes. However, their direct use in many Remote Sensing (RS) applications is often unsatisfactory due to the special imaging characteristics of RS images. In this work, we aim to utilize the strong visual recognition capabilities of VFMs to improve the change detection of high-resolution Remote Sensing Images (RSIs). We employ the visual encoder of FastSAM, an efficient variant of the SAM, to extract visual representations in RS scenes. To adapt FastSAM to focus on some specific ground objects in the RS scenes, we propose a convolutional adaptor to aggregate the task-oriented change information. Moreover, to utilize the semantic representations that are inherent to SAM features, we introduce a task-agnostic semantic learning branch to model the semantic latent in bi-temporal RSIs. The resulting method, SAMCD, obtains superior accuracy compared to the SOTA methods and exhibits a sample-efficient learning ability that is comparable to semi-supervised CD methods. To the best of our knowledge, this is the first work that adapts VFMs for the CD of HR RSIs.

研究の動機と目的

• 非常に高解像度（VHR）リモートセンシング画像（RSI）における変化検出（CD）の分野で、アノテート済みの学習データが限られているという課題に対処すること。
• 具体的には、FastSAMを含むビジョン基盤モデル（VFM）を、RSI固有の画像特性とドメインシフトに対応させるために適応させ、CD性能を向上させること。
• VFMsの一般化能力およびゼロショット能力を活用することで、大規模な完全教師ありデータセットへの依存を減らし、サンプル効率の高い学習を実現すること。
• 意味的潜在表現を明示的にモデル化することで、照明や季節的要因などの非意味的時間的変化（例：照明、季節性）と真正の意味的変化を区別する能力を向上させること。

提案手法

• 2時相のVHR RSIからマルチスケールの視覚的特徴を抽出するために、FastSAMの視覚エンコーダーを活用する。
• 2時相の特徴表現を統合することで、タスク固有の変化特徴を集約するための畳み込みアダプタモジュールを導入する。
• 時間的制約に基づく目的関数を用いて、時間的画像間で一貫した意味的表現学習を促進する、タスクに依存しない意味的学習ブランチを統合する。
• 同じ地理的位置からの特徴を異なる時刻で対比学習することで、画像変動に対してより頑健な特徴を強化する。
• 変化検出損失と意味的整合性損失の組み合わせにより、エンドツーエンドでモデルを訓練し、変化セグメンテーションと意味的表現の両方を同時に最適化する。
• 2ヘッドアーキテクチャを採用：1つのヘッドは変化予測に、もう1つのヘッドは意味的埋め込みに使用し、両タスクの共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自然画像とは異なるドメインシフトを受けるRSIにおいて、FastSAMのようなビジョン基盤モデルが、VHRリモートセンシング画像における変化検出タスクに効果的に適応可能であるか？
• RQ2 VFMsの一般化能力を活用することで、大規模なアノテート済み学習データに依存せずにCD精度を向上させることは可能か？
• RQ3 2時相のRSIにおいて意味的潜在表現をモデル化することで、照明や季節的要因などの非意味的時間的変化と真正の意味的変化を区別できるか？
• RQ4 提案手法のサンプル効率は、完全教師ありおよび半教師ありSOTAのCD手法と比較してどの程度か？
• RQ5 明示的な意味的アノテーションが不要なタスクに依存しない意味的学習ブランチが、CD性能を向上させることができるか？

主な発見

• SAM-CDは、100％のデータで学習した場合、Levir-CDデータセットでIoU 84.26％、OA 99.14％を達成し、すべての完全教師ありSOTA手法を上回るSOTA性能を示した。
• WHU-CDデータセットでも、全学習データを使用した場合、IoU 91.15％、OA 99.60％を達成し、比較対象の全手法を上回った。
• 学習データの5％のみで、Levir-CDではIoU 73.87％、WHU-CDではIoU 66.91％を達成し、半教師あり手法と同等の高いサンプル効率を示した。
• Levir-CDにおいて、40％および100％の学習データを使用した場合、SemiCDやUniMatchといった半教師あり手法を上回り、WHU-CDでは5～20％のデータで2位にランクインした。
• アブレーションスタディの結果、畳み込みアダプタおよびタスクに依存しない意味的学習ブランチの両方が、特に画像アーチファクトと真正の意味的変化の区別において顕著な性能向上に寄与していることが確認された。
• 推論速度は依然としてやや遅く、リアルタイムデプロイメントのためにはモデル圧縮や distillation 技術の導入が求められる。