[논문 리뷰] Prefer-DAS: Learning from Local Preferences and Sparse Prompts for Domain Adaptive Segmentation of Electron Microscopy

Jiabao Chen, Shan Xiong외 1명|arXiv (Cornell University)|2026. 02. 23.

Advanced Electron Microscopy Techniques and Applications인용 수 0

한 줄 요약

Prefer-DAS는 희소 포인트 프롬프트, 지역/전역 인간 선호도, 그리고 자체 학습 감독을 활용해 EM 이미지의 도메인 적응 분할 프레임워크를 프롬프트 가능하게 도입하고, 교차 도메인 미토콘드리아 분할 성능을 근접한 감독 학습 수준으로 끌어올려 준다.

ABSTRACT

Domain adaptive segmentation (DAS) is a promising paradigm for delineating intracellular structures from various large-scale electron microscopy (EM) without incurring extensive annotated data in each domain. However, the prevalent unsupervised domain adaptation (UDA) strategies often demonstrate limited and biased performance, which hinders their practical applications. In this study, we explore sparse points and local human preferences as weak labels in the target domain, thereby presenting a more realistic yet annotation-efficient setting. Specifically, we develop Prefer-DAS, which pioneers sparse promptable learning and local preference alignment. The Prefer-DAS is a promptable multitask model that integrates self-training and prompt-guided contrastive learning. Unlike SAM-like methods, the Prefer-DAS allows for the use of full, partial, and even no point prompts during both training and inference stages and thus enables interactive segmentation. Instead of using image-level human preference alignment for segmentation, we introduce Local direct Preference Optimization (LPO) and sparse LPO (SLPO), plug-and-play solutions for alignment with spatially varying human feedback or sparse feedback. To address potential missing feedback, we also introduce Unsupervised Preference Optimization (UPO), which leverages self-learned preferences. As a result, the Prefer-DAS model can effectively perform both weakly-supervised and unsupervised DAS, depending on the availability of points and human preferences. Comprehensive experiments on four challenging DAS tasks demonstrate that our model outperforms SAM-like methods as well as unsupervised and weakly-supervised DAS methods in both automatic and interactive segmentation modes, highlighting strong generalizability and flexibility. Additionally, the performance of our model is very close to or even exceeds that of supervised models.

연구 동기 및 목표

• 제한된 대상 주석으로 다양한 EM 도메인에서 정확한 미토콘드리아 분할을 유도한다.
• 자동 및 인터랙티브 분할을 지원하는 유연하고 프롬트 가능 멀티태스크 모델을 제안한다.
• 모델 출력과 인간 판단을 맞추기 위한 지역 및 희소 지역 선호 학습을 도입한다.
• 인간 피드백 누락을 처리하기 위해 비지도 및 자기학습 기반 선호 메커니즘을 개발한다.
• 다수 DAS 벤치마크에서 UDA, WDA, 및 SAM 유사 방법에 대해 강한 성능을 시연한다.

제안 방법

• 프롬트 가능 멀티태스크 모델인 Prefer-DAS를 제안한다. 이 모델은 이미지 인코더, 포인트 프롬프트 인코더, 멀티태스크 디코더, 분할 헤드, 그리고 중심점 탐지 헤드를 포함한다.
• 레이블이 지정된 소스 데이터와 라벨이 없는 타깃 데이터를 활용하기 위해 가짜 프롬프트 학습과 평균-교사(mean-teacher) 자기 훈련을 사용한다.
• 프롬프트를 위한 판별 가능한 특징 표현을 개선하기 위해 프롬프트 가이드 대조 학습을 포함한다.
• 지역 직접 선호 최적화(Local direct Preference Optimization, LPO) 및 희소 LPO(SLPO)를 도입하여 분할을 공간적으로 다르게 주는 인간 피드백과 일치시킨다.
• 인간 피드백이 없을 때 자기 생성 선호로부터 학습하도록 Unsupervised Preference Optimization(UPO)을 추가한다.
• 추론 시 전체/부분/무 포인트 프롬프트와 함께 인터랙티브 분할을 가능하게 하는 UDA와 WDA 모드를 모두 지원한다.

실험 결과

연구 질문

• RQ1 지역 및 희소 로컬 인간 선호가 EM 미토콘드리아의 도메인 적응 분할을 어떻게 개선할 수 있는가?
• RQ2 희소 포인트와 선호 학습을 활용하는 프롬프트 가능 모델이 교차 도메인 EM 분할에서 감독 모델에 근접한 성능을 낼 수 있는가?
• RQ3 도메인 이동에서 보상 잘못 명시를 완화하고 분할 성능을 향상시키는 데 LPO, SLPO, UPO가 얼마나 효과적인가?
• RQ4 약한 감독에서 프롬프트 가이드 대조 목표를 통합하는 것이 분할 임베딩의 구별 가능성을 향상시키는가?

주요 결과

• Prefer-DAS는 자동 및 인터랙티브 분할 모드에서 SAM 유사 방법 및 이전의 비지도/약지도 DAS 방법보다 우수하다.
• 모델은 EM DAS 벤치마크에서 감독 모델에 근접하거나 이를 초과하는 성능을 달성한다.
• 지역 및 희소 로컬 선호와 프롬트 가능 학습은 도메인 시프트 및 주석 예산 하에서 효과적인 지도를 제공한다.
• LPO/SLPO는 공간적으로 다양한 인간 피드백에 분할을 성공적으로 정렬하면서 라벨링 노력을 감소시킨다.
• UPO는 인간 피드백이 없을 때 비지도 선호 최적화를 가능하게 하여 강한 성능을 유지한다.
• 이 프레임워크는 UDA와 WDA를 모두 지원하고 추론 시 가변 프롬프트로 인터랙티브 분할을 허용한다.