[논문 리뷰] OilSAM2: Memory-Augmented SAM2 for Scalable SAR Oil Spill Detection

Shuaiyu Chen, Ming Yin외 3명|arXiv (Cornell University)|2026. 03. 10.

Oil Spill Detection and Mitigation인용 수 0

한 줄 요약

OilSAM2는 다층 메모리 은행과 구조-의미 일관성 메모리 업데이트를 갖춘 메모리 증강 SAM2 프레임워크를 제안하여, unordered SAR 이미지 컬렉션에서 기름 유출물의 경계 분절을 이미지 간 교차, 프롬프트 주도 방식으로 가능하게 합니다.

ABSTRACT

Segmenting oil spills from Synthetic Aperture Radar (SAR) imagery remains challenging due to severe appearance variability, scale heterogeneity, and the absence of temporal continuity in real world monitoring scenarios. While foundation models such as Segment Anything (SAM) enable prompt driven segmentation, existing SAM based approaches operate on single images and cannot effectively reuse information across scenes. Memory augmented variants (e.g., SAM2) further assume temporal coherence, making them prone to semantic drift when applied to unordered SAR image collections. We propose OilSAM2, a memory augmented segmentation framework tailored for unordered SAR oil spill monitoring. OilSAM2 introduces a hierarchical feature aware multi scale memory bank that explicitly models texture, structure, and semantic level representations, enabling robust cross image information reuse. To mitigate memory drift, we further propose a structure semantic consistent memory update strategy that selectively refreshes memory based on semantic discrepancy and structural variation.Experiments on two public SAR oil spill datasets demonstrate that OilSAM2 achieves state of the art segmentation performance, delivering stable and accurate results under noisy SAR monitoring scenarios. The source code is available at https://github.com/Chenshuaiyu1120/OILSAM2.

연구 동기 및 목표

• 가변적인 외관과 스케일을 갖는 무질서한 SAR 영상에서 기름 유출물 분절의 도전 과제를 해결합니다.
• 이미지 간 정보를 재활용하고 의미적 드리프트를 완화하기 위해 메모리 증강 SAM2 프레임워크를 활용합니다.
• 강건한 cross-image 정보 융합을 위한 계층적 텍스처/구조/의미 메모리 뱅크를 도입합니다.
• 신뢰성 신호를 바탕으로 메모리를 새로 고침하는 구조-의미 일관된 메모리 업데이트 전략을 개발합니다.

제안 방법

• SAM2 기반 프롬프트 주도 분할 프레임워크와 통합된 계층적 다층 메모리 뱅크(텍스처, 구조, 의미)를 구축합니다.
• 공통 표현으로 융합하기 전에 레벨별 메모리를 검색하고 가중치를 부여하여 스케일-적응 메모리 융합을 수행합니다.
• 의미적 및 구조적 차이(코사인 의미 거리 및 기울기 기반 구조 변화)에 따라 메모리 새로 고침을 촉발하는 구조-의미 일관된 메모리 업데이트 메커니즘을 도입합니다.
• 원래 SAM2 모듈을 고정한 채로 스케일 어댑터, 메모리 구성요소 및 마스크 디코더를 학습합니다.
• 두 클래스 기름 유출 작업에서 가중 이진 교차 엔트로피 손실로 세분화를 최적화합니다.

Fig. 1 : Overview of the proposed OilSAM2 framework. Given an input SAR image and user prompt, hierarchical features are extracted and organized into texture-, structure-, and semantic-level representations. Each level interacts with a corresponding memory group via scale-wise attention. The retriev

실험 결과

연구 질문

• RQ1 무질서한 SAR 이미지 간의 메모리 증강 분할이 단일 이미지 기반 SAM 방법에 비해 기름 유출 경계 구분을 향상시킬 수 있습니까?
• RQ2 텍스처, 구조, 의미 단서를 포착하는 다층 메모리 뱅크가 해상 상태, 스피클 노이즈 및 유사 현상에 대한 견고성을 향상시킵니까?
• RQ3 무질서한 SAR 이미지 컬렉션을 처리할 때 구조-의미 일관된 메모리 업데이트가 의미적 드리프트를 줄입니까?

주요 결과

모델	해수면(%, ↑)	기름 유출(%, ↑)	유사 물체(%, ↑)	선박(%, ↑)	육지(%, ↑)	mIoU(%, ↑)
Unet	93.90	53.79	39.55	44.93	92.68	64.97
LinkNet	94.99	51.53	43.24	40.23	93.97	64.79
PSPNet	92.78	40.10	33.79	24.42	86.90	55.60
Deeplabv2	94.09	25.57	40.30	11.41	74.99	49.27
Deeplabv2(msc)	95.39	49.28	31.26	88.65	93.97	62.83
Deeplabv3+	96.43	53.38	55.40	27.63	92.44	65.06
TransOilSeg	97.02	61.38	62.41	33.49	94.39	69.74
YOLOv8-SAM	94.34	41.84	48.15	52.48	87.65	64.89
SAM-OIL	96.05	51.60	55.60	52.55	91.81	69.52
OSDMamba	96.47	65.59	47.57	46.85	94.76	70.25
OilSAM2 (Ours)	95.10	65.92	54.16	56.18	92.07	72.62
Table 2 – SOS Dataset (PALSAR/Sentinel-1)
Table 3 – Ablation (SOS Dataset)

• OilSAM2는 두 개의 공개 SAR 기름 유출 데이터셋에서 최첨단 성능을 달성하며 SAM 기반 및 다른 기준선들을 능가합니다.
• M4D에서 OilSAM2는 기름 유출에 대한 IoU 향상을 눈에 띄게 보이며 전반적인 mIoU도 강합니다.
• SOS에서 OilSAM2는 PALSAR 및 Sentinel-1 모듈 전반에서 가장 높은 mIoU와 견고한 F1-점수/재현율을 달성합니다.
• 다중 스케일 메모리 뱅크와 구조-의미 업데이트는 제거 실험에서 개별 구성요소보다 더 큰 이득을 제공합니다.
• 다양한 해상 상태에서 경계 구분 개선 및 작은 조각의 탐지를 보여줍니다.

Fig. 2 : Qualitative results of the ablation study(On SOS Dataset).