[論文レビュー] PointSAM: Pointly-Supervised Segment Anything Model for Remote Sensing Images

Nanqing Liu, Xun Xu+3 more|arXiv (Cornell University)|Sep 20, 2024

Big Data and Business Intelligence被引用数 4

ひとこと要約

本稿では、自己学習フレームワークとプロトタイプベースの正則化、ネガティブプロンプトキャリブレーションを用いて誤り蓄積と密なオブジェクト干渉を軽減する、リモートセンシング画像（RSI）向けのポイントラベルによる自己教師付き適応手法PointSAMを提案する。Point annotationsのみを用いてNWPU VHR-10、HRSID、WHUの3つのデータセットで最先端性能を達成し、SAM、SAM2、および先行の弱教師あり手法を上回る性能を示す。

ABSTRACT

Segment Anything Model (SAM) is an advanced foundational model for image segmentation, which is gradually being applied to remote sensing images (RSIs). Due to the domain gap between RSIs and natural images, traditional methods typically use SAM as a source pre-trained model and fine-tune it with fully supervised masks. Unlike these methods, our work focuses on fine-tuning SAM using more convenient and challenging point annotations. Leveraging SAM's zero-shot capabilities, we adopt a self-training framework that iteratively generates pseudo-labels for training. However, if the pseudo-labels contain noisy labels, there is a risk of error accumulation. To address this issue, we extract target prototypes from the target dataset and use the Hungarian algorithm to match them with prediction prototypes, preventing the model from learning in the wrong direction. Additionally, due to the complex backgrounds and dense distribution of objects in RSI, using point prompts may result in multiple objects being recognized as one. To solve this problem, we propose a negative prompt calibration method based on the non-overlapping nature of instance masks. In brief, we use the prompts of overlapping masks as corresponding negative signals, resulting in refined masks. Combining the above methods, we propose a novel Pointly-supervised Segment Anything Model named PointSAM. We conduct experiments on RSI datasets, including WHU, HRSID, and NWPU VHR-10, and the results show that our method significantly outperforms direct testing with SAM, SAM2, and other comparison methods. Furthermore, we introduce PointSAM as a point-to-box converter and achieve encouraging results, suggesting that this method can be extended to other point-supervised tasks. The code is available at https://github.com/Lans1ng/PointSAM.

研究の動機と目的

• 自然画像とリモートセンシング画像（RSI）のドメインギャップに対処すること。SAMのゼロショット性能は、分布外のオブジェクトや複雑な背景のため低下する。
• 完全マスクやボックスラベルよりも安価でスケーラブルなポイントラベルのみを用いてSAMの効果的な微調整を可能とし、自己学習における誤り蓄積を回避すること。
• 点プロンプトが複数のオブジェクトを1つのマスクに統合してしまう、密集・複雑なRSIにおける課題を克服すること。
• 弱教師ありセグメンテーションに一般化しやすく、ポイントtoボックス検出などの他のタスクへも拡張可能な手法を開発すること。

提案手法

• 弱いオーグメンテーションを施した入力を用いてモデルが偽ラベルを生成する自己学習フレームワークを採用し、完全な監督なしで反復的改善が可能になる。
• プロトタイプベースの正則化を導入：データセットからターゲット固有のプロトタイプを抽出し、ハンガリアンアルゴリズムを用いて予測プロトタイプと照合することで、訓練の安定性を高め、誤り蓄積を低減する。
• ネガティブプロンプトキャリブレーションを提案：重複するマスク予測をネガティブ信号として用い、RSIにおけるインスタンスマスクの非重複性を活用してセグメンテーションを精緻化する。
• 弱いおよび強いオーグメンテーションを用いたデュアルブランチネットワークを採用し、自己学習中の一貫性ある予測と耐性を向上させる。
• ポイントtoボックス変換パイプラインを活用：ポイントプロンプトからマスクを生成し、最小外接長方形を計算して水平ボクシングを生成し、回転検出器に供給する。
• バックボーンにResNet-50を用い、HRSIDで入力サイズ800×800、12エポックの学習を実施して検出性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ノイズを含む偽ラベルが存在する中で、ポイントラベルのみを用いた自己学習フレームワークが、リモートセンシング画像向けにSAMを効果的に微調整できるか？
• RQ2 プロトタイプベースの正則化は、ドメインシフトしたセグメンテーションにおける自己学習の訓練安定性と誤り蓄積低減にどのように寄与するか？
• RQ3 点プロンプトで統合されてしまう密な配置のオブジェクト（例：岸壁付近の船、影付きのタンク）を、ネガティブプロンプトキャリブレーションが効果的に分離できるか？
• RQ4 PointSAMは、オrientedオブジェクト検出のためのポイントtoボックスジェネレータとしてどれほど有効に機能するか？また、完全に監督されたベースラインと比較してどうなるか？

主な発見

• PointSAMは、NWPU VHR-10、HRSID、WHUという3つのベンチマークRSIデータセットで最先端性能を達成し、vanilla SAM、SAM2、およびWeSAM や DePT といった先行の弱教師あり手法を上回る。
• HRSIDデータセットでは、PointSAM + H2RBox-v2がリコール68.9%、AP50 59.5%を達成し、vanilla SAMに比べ15%の向上を示し、ポイント監督検出においてPoint2RBoxをも上回る性能を示した。
• プロトタイプベースの正則化により、誤り蓄積が顕著に低減され、多様なRSIシーンにおいてより正確で安定したマスク予測が得られた。
• ネガティブプロンプトキャリブレーションは、隣接・重複するオブジェクト（例：岸壁付近の船、影付きのタンク）の分離に効果的に機能し、他の手法が区別できなかったケースでも良好な分離を達成した。
• 本手法は優れた一般化性能を示しており、ポイント監督のみでも、特に密集・複雑なシーンにおいて真値に近いマスクを生成した。
• ポイントtoボックス変換パイプラインにより、ポイント監督型のオrientedオブジェクト検出が効果的に実現され、HBB監督手法に近い性能を示したが、OBB監督ベースラインと比べ約20%のギャップが残った。