[論文レビュー] Scale-Aware Self-Supervised Learning for Segmentation of Small and Sparse Structures

Jorge Quesada, Ghassan AlRegib|arXiv (Cornell University)|Jan 26, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

要約: 本論文は、事前学習時に小さなウィンドウを切り抜くことで微細スケール構造を強調するスケール認識型自己监督学習戦略を提案し、小さな/まばらなターゲット（地震断層や細胞構造など）のセグメンテーションを改善する一方で、大規模構造には限定的な効果しか得られないことを示す。

ABSTRACT

Self-supervised learning (SSL) has emerged as a powerful strategy for representation learning under limited annotation regimes, yet its effectiveness remains highly sensitive to many factors, especially the nature of the target task. In segmentation, existing pipelines are typically tuned to large, homogeneous regions, but their performance drops when objects are small, sparse, or locally irregular. In this work, we propose a scale-aware SSL adaptation that integrates small-window cropping into the augmentation pipeline, zooming in on fine-scale structures during pretraining. We evaluate this approach across two domains with markedly different data modalities: seismic imaging, where the goal is to segment sparse faults, and neuroimaging, where the task is to delineate small cellular structures. In both settings, our method yields consistent improvements over standard and state-of-the-art baselines under label constraints, improving accuracy by up to 13% for fault segmentation and 5% for cell delineation. In contrast, large-scale features such as seismic facies or tissue regions see little benefit, underscoring that the value of SSL depends critically on the scale of the target objects. Our findings highlight the need to align SSL design with object size and sparsity, offering a general principle for buil ding more effective representation learning pipelines across scientific imaging domains.

研究の動機と目的

• ターゲット構造が小さいまたはまばらである場合にSSLを動機づけること。
• SSL事前学習時に小さなウィンドウを切り抜くスケール認識型データ拡張を提案すること。
• ラベルが乏しい条件下で、地震断層セグメンテーションと神経画像の細胞/血管セグメンテーションにおいてアプローチを検証すること。
• スケール認識型SSLの効果が下流のセグメンテーションへ転移する場合と、（大規模構造タスクでは）転移しない場合を示すこと。

提案手法

• SSL拡張パイプラインに小窓切り抜き機構を埋め込み、エンコーダを局所的特徴に biased すること。
• 2つの切り抜き戦略を使用すること：ランダムクロップと近接制約クロップを用い、重なりと一貫性を促進すること。
• 対照学習系・非対照学習系・クラスタリングベースなど、さまざまなSSLファミリーとの互換性を維持すること。
• 事前学習済みエンコーダを用いたパッチベースのセグメンテーション設定でDice損失を用いてデコーダを微調整すること。
• スライディングウィンドウ法による推論で全スライスのセグメンテーションを生成すること。

(a) Seismic and brain image slices

実験結果

リサーチクエスチョン

• RQ1 ターゲット構造のスケールは、セグメンテーションの自己监督表現の効果にどのように影響するか。
• RQ2 SSL事前学習中に小さなウィンドウ切り抜きを組み込むと、ドメインを超えて小さい/まばらなターゲットのセグメンテーション性能が改善されるか。
• RQ3 大規模/小規模のセグメンテーションタスクにおいてSSLの利点にドメイン依存の差はあるか。
• RQ4 小構造セグメンテーションに対するスケール認識型SSLは、VICRegLのような既存のマルチクロップ/パッチベースSSL法と比較してどのように評価されるか。

主な発見

• 小さなパッチを用いたスケール認識型SSLは、小さくまばらなターゲットに対して一貫した Dice の利得を与える（地震断層セグメンテーションで最大13%、細胞神経画像で最大5%の利得、グローバルビューSSLと比較）。
• 最も小さなパッチ（L/8）は、薄いまたはコンパクトな構造に対して最も強い利得を提供。
• 大規模構造タスク（地震の層位、神経画像の軸索など）は利益が少なく、パッチが小さくなると効果が低下する場合がある。
• スケール認識型クロッピングは小構造セグメンテーションにおいてマルチクロップVICRegLよりも優れており、微細スケール特徴へのバイアスが強いことを示す。
• スケール認識型事前学習は、入力解像度とメモリ使用量を削減することで全画像SSLより最大3倍速くなる可能性がある。

(b) Ground truth