[논문 리뷰] Scale-Aware Self-Supervised Learning for Segmentation of Small and Sparse Structures

Jorge Quesada, Ghassan AlRegib|arXiv (Cornell University)|2026. 01. 26.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

논문은 작은 창(window)을 사전학습 중에 크롭하도록 규모 인지(scale-aware) 자기지도 학습 전략을 도입하여 미세 규모 구조를 강조하고 작은 또는 희소한 대상(예: 지진단 단층 및 세포 구조)의 분절을 개선하되 대규모 구조에 대해서는 이익이 제한적이다.

ABSTRACT

Self-supervised learning (SSL) has emerged as a powerful strategy for representation learning under limited annotation regimes, yet its effectiveness remains highly sensitive to many factors, especially the nature of the target task. In segmentation, existing pipelines are typically tuned to large, homogeneous regions, but their performance drops when objects are small, sparse, or locally irregular. In this work, we propose a scale-aware SSL adaptation that integrates small-window cropping into the augmentation pipeline, zooming in on fine-scale structures during pretraining. We evaluate this approach across two domains with markedly different data modalities: seismic imaging, where the goal is to segment sparse faults, and neuroimaging, where the task is to delineate small cellular structures. In both settings, our method yields consistent improvements over standard and state-of-the-art baselines under label constraints, improving accuracy by up to 13% for fault segmentation and 5% for cell delineation. In contrast, large-scale features such as seismic facies or tissue regions see little benefit, underscoring that the value of SSL depends critically on the scale of the target objects. Our findings highlight the need to align SSL design with object size and sparsity, offering a general principle for buil ding more effective representation learning pipelines across scientific imaging domains.

연구 동기 및 목표

• 목표 대상 구조가 크고 균질한 영역이 아니라 작거나 희소한 구조인 경우 SSL을 모색한다.
• SSL 전처리에서 작은 창을 크롭하도록 규모 인지 보강을 제안한다.
• 레이블이 제한된 조건에서 지진 단층 분절 및 신경영상에서의 세포/혈관 분절에 대한 접근 방식을 검증한다.
• 규모 인지 SSL이 다운스트림 분절로 전달될 때와 그렇지 않을 때(대규모 구조 작업에서의 경우)를 보여준다.

제안 방법

• SSL 보강 파이프라인에 작은 창 크롭을 포함시켜 인코더를 지역적 특징으로 편향한다.
• 두 가지 크롭 전략을 사용한다: 임의 크롭과 인접성 제약 크롭으로 중복성과 일관성을 촉진한다.
• 다양한 SSL 계열(대조학, 비대조학, 클러스터링 기반)과의 호환성을 유지한다.
• 사전훈련된 인코더를 이용한 패치 기반 분절 설정에서 Dice 손실로 디코더를 미세조정한다.
• 슬라이딩 윈도우 스티칭을 통한 추론으로 전체 슬라이스 분절을 생성한다.

(a) Seismic and brain image slices

실험 결과

연구 질문

• RQ1 대상 구조의 규모가 분절에 대한 자기지도 표현의 효과에 어떤 영향을 미치는가?
• RQ2 SSL 전처리에서 작은 창 크롭을 도입하면 도메인 전반에서 작은 또는 희소한 대상의 분절 성능이 개선되는가?
• RQ3 대규모-대상과 소규모-대상 분절 작업에서 SSL의 이익에 도메인 의존적 차이가 있는가?
• RQ4 규모 인지 SSL이 소규모 구조 분절에서 기존의 다중 크롭/패치 기반 SSL 방법들(VICRegL 등)과 비교해 어떤 이점을 제공하는가?

주요 결과

• 작은 패치를 활용한 규모 인지 SSL은 작은/희소한 대상에서 글로벌 뷰 SSL에 비해 Dice 점수 향상을 일관되게 보인다(지진단 분절에서 최대 13%, 세포 신경영상에서 최대 5%).
• 가장 작은 패치(L/8)가 얇거나 조밀한 구조에 대해 가장 강한 이득을 제공한다.
• 대규모 구조 작업(지질학의 페이시스, 신경영상의 축삭)에서는 이점이 거의 없거나 감소할 수 있다.
• 소규모 구조 분절에서 규모 인지 크롭은 다중 크롭 VICRegL보다 우수한 성능을 보여 미세 스케일 특징에 대한 바이어스가 더 강하다는 것을 시사한다.
• 입력 해상도 및 메모리 사용량 감소로 인해 규모 인지 사전학습이 전체 이미지 SSL에 비해 최대 3배 빠를 수 있다.

(b) Ground truth