[논문 리뷰] SAMAug: Point Prompt Augmentation for Segment Anything Model

Haixing Dai, Chong Ma외 15명|arXiv (Cornell University)|2023. 07. 03.

Visual Attention and Saliency Detection인용 수 25

한 줄 요약

SAMAug는 초기 SAM 출력에서 추가 프롬프트를 샘플링하여 SAM의 포인트 프롬프트를 자동으로 보강하고, 추가 수작업 입력 없이 여러 데이터셋에서 분할을 개선합니다.

ABSTRACT

This paper introduces SAMAug, a novel visual point augmentation method for the Segment Anything Model (SAM) that enhances interactive image segmentation performance. SAMAug generates augmented point prompts to provide more information about the user's intention to SAM. Starting with an initial point prompt, SAM produces an initial mask, which is then fed into our proposed SAMAug to generate augmented point prompts. By incorporating these extra points, SAM can generate augmented segmentation masks based on both the augmented point prompts and the initial prompt, resulting in improved segmentation performance. We conducted evaluations using four different point augmentation strategies: random sampling, sampling based on maximum difference entropy, maximum distance, and saliency. Experiment results on the COCO, Fundus, COVID QUEx, and ISIC2018 datasets show that SAMAug can boost SAM's segmentation results, especially using the maximum distance and saliency. SAMAug demonstrates the potential of visual prompt augmentation for computer vision. Codes of SAMAug are available at github.com/yhydhx/SAMAug

연구 동기 및 목표

• PROMPT 문제 해소를 통한 SAM 분할 개선 동기 부여 및 보강 프롬프트로의 접근.
• 초기 SAM 결과에서 추가 프롬프트를 생성하는 시각적 포인트 보강 프레임워크 제안.
• 다양한 데이터셋(일반 및 의학 분야)에서 네 가지 보강 전략과 박스 프롬프트 변형 평가.
• 재학습이나 데이터 변경 없이 프롬프트 보강이 SAM 성능을 개선할 수 있음을 입증

제안 방법

• 초기 SAM 분할을 입력으로 받아 그 결과에서 보강 포인트 프롬프트를 샘플링하는 파이프라인으로 SAMAug를 정의.
• 다음 네 가지 샘플링 전략 구현: 무작위, 최대 차이 엔트로피, 최대 거리, 주목도 기반.
• 박스 기반 보강을 평가하기 위해 GT 또는 초기 결과에서 도출된 내부/외부 박스 프롬프트를 선택적으로 탐색.
• COCO, Fundus, COVID QU-Ex, ISIC2018 데이터셋에서 SAM에 대한 보강 효과 평가.
• 구현 세부정보 제공 및 Dice 점수 향상 보고.
• 프롬프트 선택에서의 불변성 및 능동학습 통합 가능성 논의

Figure 1: The framework of our SAMAug model.

실험 결과

연구 질문

• RQ1 추가 사용자 입력이나 모델 재학습 없이 자동 시각 포인트 보강이 SAM 분할을 개선할 수 있는가?
• RQ2 다양한 도메인에서 어떤 포인트 프롬프트 보강 전략(무작위, 최대 엔트로피, 최대 거리, 주목도)이 성능 개선에 가장 효과적인가?
• RQ3 데이터셋 간 augmented SAM 성능에서 박스 기반 프롬프트가 포인트 프롬프트에 비해 어떤 차이를 보이는가?
• RQ4 SAMAug의 한계와 데이터셋 특이적 효과는 무엇이며, 활성 학습이 프롬프트 보강을 어떻게 더 향상시킬 수 있는가?

주요 결과

데이터셋	초기값	무작위	최대 엔트로피	최대 거리	주목도	GT 무작위	GT 최대 엔트로피	GT 최대 거리
COCO	0.601 ± 0.002	0.614 ± 0.002	0.621 ± 0.004	0.651 ± 0.002	0.631 ± 0.001	0.794 ± 0.005	0.781 ± 0.004	0.797 ± 0.007
Fundus	0.766 ± 0.008	0.794 ± 0.007	0.791 ± 0.006	0.802 ± 0.007	0.792 ± 0.002	0.840 ± 0.008	0.796 ± 0.010	0.849 ± 0.010
COVID QU-Ex	0.488 ± 0.003	0.503 ± 0.003	0.490 ± 0.003	0.497 ± 0.002	0.495 ± 0.002	0.556 ± 0.001	0.526 ± 0.002	0.454 ± 0.004
ISIC2018	0.662 ± 0.009	0.688 ± 0.014	0.687 ± 0.007	0.668 ± 0.011	0.739 ± 0.018	0.797 ± 0.001	0.773 ± 0.007	0.701 ± 0.003

• SAMAug는 데이터셋 전반에서 SAM 성능을 개선하며, COCO에서 보강 프롬프트를 사용했을 때 Dice가 약 0.01–0.05 만큼 증가한다.
• Fundus에서 SAMAug는 약 0.03–0.04 Dice 향상을 가져다주며, 최대 거리 전략이 대개 최적이다.
• COVID QU-Ex에서 보강 프롬프트는 초기 SAM 결과 대비 Dice를 약 0.01 증가시킨다.
• ISIC2018에서 SAMAug는 Dice를 0.02–0.07 증가시키며, 주목도가 때로 가장 큰 이득을 제공한다.
• 외부 GT 상자가 이용 가능할 때 박스 프롬프트가 포인트 프롬프트보다 일반적으로 더 나은 성능을 보이며(예: COCO 0.89, Fundus 0.904), Dice 점수를 높인다.
• GT를 기반으로 한 보강(GT Random/Max Entropy/Max Distance)은 두 프롬프트 구성을 위한 잠재적 상한선을 보여준다

Figure 2: Sample segmentation results by SAM with different point prompt augmentation strategies. Column "GT" shows the ground truth segmentation mask. Column "SAM" is the segmentation result using a single point prompt.