[論文レビュー] Prefer-DAS: Learning from Local Preferences and Sparse Prompts for Domain Adaptive Segmentation of Electron Microscopy

Jiabao Chen, Shan Xiong+1 more|arXiv (Cornell University)|Feb 23, 2026

Advanced Electron Microscopy Techniques and Applications被引用数 0

ひとこと要約

Prefer-DASは、疎点プロンプト、局所/全局の人間の好み、および自己学習された監視を用い、クロスドメインのミトコンドリアセグメンテーションを改善するための、プロンプト可能で好み guided なドメイン適応セグメンテーションフレームワークで、ほぼ監視下の性能を達成する。

ABSTRACT

Domain adaptive segmentation (DAS) is a promising paradigm for delineating intracellular structures from various large-scale electron microscopy (EM) without incurring extensive annotated data in each domain. However, the prevalent unsupervised domain adaptation (UDA) strategies often demonstrate limited and biased performance, which hinders their practical applications. In this study, we explore sparse points and local human preferences as weak labels in the target domain, thereby presenting a more realistic yet annotation-efficient setting. Specifically, we develop Prefer-DAS, which pioneers sparse promptable learning and local preference alignment. The Prefer-DAS is a promptable multitask model that integrates self-training and prompt-guided contrastive learning. Unlike SAM-like methods, the Prefer-DAS allows for the use of full, partial, and even no point prompts during both training and inference stages and thus enables interactive segmentation. Instead of using image-level human preference alignment for segmentation, we introduce Local direct Preference Optimization (LPO) and sparse LPO (SLPO), plug-and-play solutions for alignment with spatially varying human feedback or sparse feedback. To address potential missing feedback, we also introduce Unsupervised Preference Optimization (UPO), which leverages self-learned preferences. As a result, the Prefer-DAS model can effectively perform both weakly-supervised and unsupervised DAS, depending on the availability of points and human preferences. Comprehensive experiments on four challenging DAS tasks demonstrate that our model outperforms SAM-like methods as well as unsupervised and weakly-supervised DAS methods in both automatic and interactive segmentation modes, highlighting strong generalizability and flexibility. Additionally, the performance of our model is very close to or even exceeds that of supervised models.

研究の動機と目的

• 多様なEMドメインに跨る正確なミトコンドリアセグメンテーションを、ターゲットの注釈を限定して動機づける。
• 自動および対話的セグメンテーションをサポートする柔軟な、プロンプト可能なマルチタスクモデルを提案する。
• モデル出力を人間の判断に合わせる局所的および疎な局所好み学習を導入する。
• 人間のフィードバックが欠如する場合に対処するための、教師なしおよび自己学習型の好み機構を開発する。
• 複数のDASベンチマークにおいて、UDA、WDA、SAM様似の手法に対して強力な性能を示す。

提案手法

• Prefer-DASを提案する。画像エンコーダ、点プロンプトエンコーダ、マルチタスクデコーダ、セグメンテーションヘッドおよび中心点検出ヘッドを備えたプロンプト可能なマルチタスクモデル。
• ラベル付きソースデータとラベルなしターゲットデータを活用するため、擬似プロンプト学習と mean-teacher 自己訓練を使用する。
• プロンプトガイド付き対比学習を組み込み、プロンプト用の識別的特徴表現を向上させる。
• 局所直接好み最適化（LPO）と疎なLPO（SLPO）を導入し、セグメンテーションを空間的に異なる人間のフィードバックと整合させる。
• 人間のフィードバックが利用できない場合に自己生成された好みから学習する無監視好み最適化（UPO）を追加する。
• 推論時には、UDAとWDAの両方のモードを可能とし、完全/部分/なしの点プロンプトで対話的セグメンテーションを実現。

実験結果

リサーチクエスチョン

• RQ1 局所および疎な局所的人間の好みは、EMミトコンドリアのドメイン適応セグメンテーションをどのように改善できるか？
• RQ2 疎な点と好み学習を利用するプロンプト可能モデルは、クロスドメインEMセグメンテーションで、監視モデルに近い性能を達成できるか？
• RQ3 LPO、SLPO、UPOは報酬の誤指定を緩和し、ドメインシフト下でセグメンテーションを改善する際にどれほど効果的か？
• RQ4 プロンプトガイド付き対比目的関数を統合することで、弱教師あり下のセグメンテーション埋め込みの識別性を高めるか？

主な発見

• Prefer-DASは、SAM様似手法およびこれまでの無監視/弱教師付きDAS手法を、自動および対話的セグメンテーションモードで凌駕する。
• モデルはEM DASベンチマークで監視付きモデルに近い、またはそれを上回る性能を達成する。
• 局所的および疎な局所的好みとプロンプト可能学習は、ドメインシフトと注釈予算の下で有効な指針を提供する。
• LPO/SLPOは空間的に変動する人間のフィードバックと整合させ、ラベリング労力を削減する。
• UPOは人間のフィードバックが利用できない場合に無監視の好み最適化を可能とし、強力な性能を維持する。
• 本フレームワークはUD AとWDAの両方をサポートし、推論時の可変プロンプトによる対話的セグメンテーションを許す。