[論文レビュー] OilSAM2: Memory-Augmented SAM2 for Scalable SAR Oil Spill Detection

Shuaiyu Chen, Ming Yin+3 more|arXiv (Cornell University)|Mar 10, 2026

Oil Spill Detection and Mitigation被引用数 0

ひとこと要約

OilSAM2は階層的で多スケールなメモリバンクと構造–意味一致のメモリ更新を備えたメモリ拡張型SAM2フレームワークを提案し、無秩序なSAR画像コレクションにおけるプロンプト駆動の油流出セグメンテーションを可能にする。

ABSTRACT

Segmenting oil spills from Synthetic Aperture Radar (SAR) imagery remains challenging due to severe appearance variability, scale heterogeneity, and the absence of temporal continuity in real world monitoring scenarios. While foundation models such as Segment Anything (SAM) enable prompt driven segmentation, existing SAM based approaches operate on single images and cannot effectively reuse information across scenes. Memory augmented variants (e.g., SAM2) further assume temporal coherence, making them prone to semantic drift when applied to unordered SAR image collections. We propose OilSAM2, a memory augmented segmentation framework tailored for unordered SAR oil spill monitoring. OilSAM2 introduces a hierarchical feature aware multi scale memory bank that explicitly models texture, structure, and semantic level representations, enabling robust cross image information reuse. To mitigate memory drift, we further propose a structure semantic consistent memory update strategy that selectively refreshes memory based on semantic discrepancy and structural variation.Experiments on two public SAR oil spill datasets demonstrate that OilSAM2 achieves state of the art segmentation performance, delivering stable and accurate results under noisy SAR monitoring scenarios. The source code is available at https://github.com/Chenshuaiyu1120/OILSAM2.

研究の動機と目的

• Variable appearances and scales を伴う無秩序なSAR画像の油流出セグメンテーション課題に対処する。
• 複数画像間で情報を再利用しつつ意味的ドリフトを緩和するためにメモリ拡張型SAM2フレームワークを活用する。
• robustな跨画像情報統合のために階層的なtexture/structure/semanticメモリバンクを導入する。
• 信頼性の手掛かりに基づくメモリ更新を可能にする構造–意味的一貫性メモリ更新戦略を開発する。

提案手法

• SAM2ベースのプロンプト駆動セグメンテーションフレームワークと統合した階層的な多レベルメモリバンク（texture, structure, semantic）を構築する。
• レベル特有のメモリを取得・重み付けして共通表現へ融合することで、スケール適応のメモリ融合を実施する。
• semantic distance（コサイン距離）とgradientベースの構造変化を用いた、意味–構造の不一致に基づいてメモリ更新をトリガーする構造–意味的一貫性メモリ更新機構を導入する。
• 元のSAM2モジュールを凍結したまま、スケールアダプタ・メモリコンポーネント・マスクデコーダを訓練する。
• 二クラスの油流出タスクに対してウェイト付き二値交差エントロピー損失でセグメンテーションを最適化する。

Fig. 1 : Overview of the proposed OilSAM2 framework. Given an input SAR image and user prompt, hierarchical features are extracted and organized into texture-, structure-, and semantic-level representations. Each level interacts with a corresponding memory group via scale-wise attention. The retriev

実験結果

リサーチクエスチョン

• RQ1 無秩序なSAR画像間でのメモリ拡張セグメンテーションは、単一画像ベースのSAM法と比較して油流出の境界定義を改善するか。
• RQ2 テクスチャ・構造・意味の手掛かりを捉える多段階メモリバンクは、海況・スペックルノイズ・類似現象に対する頑健性を高めるか。
• RQ3 構造–意味的一貫性メモリ更新は、無秩序なSAR画像コレクションを処理する際の意味的ドリフトを低減するか。

主な発見

Model	SeaSurface(%, ↑)	Oil Spill(%, ↑)	Look-alike(%, ↑)	Ship(%, ↑)	Land(%, ↑)	mIoU(%, ↑)
Unet	93.90	53.79	39.55	44.93	92.68	64.97
LinkNet	94.99	51.53	43.24	40.23	93.97	64.79
PSPNet	92.78	40.10	33.79	24.42	86.90	55.60
Deeplabv2	94.09	25.57	40.30	11.41	74.99	49.27
Deeplabv2(msc)	95.39	49.28	31.26	88.65	93.97	62.83
Deeplabv3+	96.43	53.38	55.40	27.63	92.44	65.06
TransOilSeg	97.02	61.38	62.41	33.49	94.39	69.74
YOLOv8-SAM	94.34	41.84	48.15	52.48	87.65	64.89
SAM-OIL	96.05	51.60	55.60	52.55	91.81	69.52
OSDMamba	96.47	65.59	47.57	46.85	94.76	70.25
OilSAM2 (Ours)	95.10	65.92	54.16	56.18	92.07	72.62
Table 2 – SOS Dataset (PALSAR/Sentinel-1)
Table 3 – Ablation (SOS Dataset)

• OilSAM2は二つの公開SAR油流出データセットで最先端の性能を達成し、SAMベースおよび他のベースラインを上回る。
• M4Dでは、OilSAM2は油流出のIoUを顕著に改善し、全体的なmIoUが高い。
• SOSでは、OilSAM2は最も高いmIoUと堅牢なF1スコア/リコールをPALSARおよびSentinel-1モダリティで達成した。
• マルチスケールメモリバンクと構造–意味更新は、単一構成のアブレーションよりも大きな利得を提供する。
• このアプローチは、さまざまな海況下で境界の描写と小規模/断片の検出を改善している。

Fig. 2 : Qualitative results of the ablation study(On SOS Dataset).