[논문 리뷰] Weakly-Supervised Concealed Object Segmentation with SAM-based Pseudo Labeling and Multi-scale Feature Grouping

Chunming He, Kai Li외 6명|arXiv (Cornell University)|2023. 05. 18.

Advanced Neural Network Applications인용 수 64

한 줄 요약

WS-SAM을 도입하는 약-감독 은닉 객체 분할 프레임워크로, SAM 생성 가짜 라벨에 다중 증강, 엔트로피 기반 가중치 부여, 그리고 이미지 수준 선택을 활용하며, 분할 일관성 및 다중 객체 처리 향상을 위한 다중 스케일 특징 그룹화 모듈을 제시합니다.

ABSTRACT

Weakly-Supervised Concealed Object Segmentation (WSCOS) aims to segment objects well blended with surrounding environments using sparsely-annotated data for model training. It remains a challenging task since (1) it is hard to distinguish concealed objects from the background due to the intrinsic similarity and (2) the sparsely-annotated training data only provide weak supervision for model learning. In this paper, we propose a new WSCOS method to address these two challenges. To tackle the intrinsic similarity challenge, we design a multi-scale feature grouping module that first groups features at different granularities and then aggregates these grouping results. By grouping similar features together, it encourages segmentation coherence, helping obtain complete segmentation results for both single and multiple-object images. For the weak supervision challenge, we utilize the recently-proposed vision foundation model, Segment Anything Model (SAM), and use the provided sparse annotations as prompts to generate segmentation masks, which are used to train the model. To alleviate the impact of low-quality segmentation masks, we further propose a series of strategies, including multi-augmentation result ensemble, entropy-based pixel-level weighting, and entropy-based image-level selection. These strategies help provide more reliable supervision to train the segmentation model. We verify the effectiveness of our method on various WSCOS tasks, and experiments demonstrate that our method achieves state-of-the-art performance on these tasks.

연구 동기 및 목표

• COS에서 주석 비용을 줄이고 희소 라벨을 활용해 정확한 세그먼터를 학습한다.
• 다중 스케일 특징 그룹화(MFG) 모듈로 내부 전경–배경 유사성을 완화한다.
• SAM 생성 마스크를 증강-앙상블, 픽셀 수준 가중치, 이미지 수준 선택으로 약지도 감독 품질을 향상한다.
• COD, PIS, TOD를 포함한 다양한 WSCOS 태스크에서 최첨단 성능을 입증한다.
• MFG가 fully-supervised COS 및 다중 객체 시나리오에도 이점을 준다는 것을 보여준다.

제안 방법

• 희소 주석을 프롬프트로 사용하여 SAM으로 밀집된 가짜 마스크를 생성하고 COS 세그먼터를 학습한다.
• 다중 스케일 특징 그룹화(MFG)로 다중 해상도에서 특징을 그룹화하고 RK2에서 영감을 받은 방식으로 응집해 일관성을 향상시킨다.
• 희소 주석에서의 부분 교차 엔트로피와 SAM 기반 가짜 라벨의 감독(L_ce 및 L_IoU)을 결합한 합동 손실로 학습된 ResNet-50 인코더와 디코더를 적용한다.
• 가짜 라벨 정제 구현: 다중 증강 결과 융합(MAF)으로 SAM 출력을 앙상블하고, 신뢰도 높은 픽셀을 강조하는 엔트로피 기반 픽셀 수준 가중치 및 저품질 이미지를 선별하는 엔트로피 기반 이미지 수준 선택.
• 긁은 선(스크려블) 또는 희소 포인트 감독 기반 베이스라인을 제공하고, SAM 기반 베이스라인(SAM, SAM-S, SAM-P) 및 기존 WSCOS 방법과 비교한다.

실험 결과

연구 질문

• RQ1 SAM생성 마스크가 희소 주석에 의해 가이드될 때 약하게 지도된 은닉 객체 분할을 위한 신뢰할 수 있는 가짜 라벨을 제공할 수 있는가?
• RQ2 다중 스케일 특징 그룹화 모듈이 약지도 하에서 분할 일관성과 다중 객체 처리를 향상시키는가?
• RQ3 증강-앙상블, 엔트로피 가중치, 이미지 수준 선택이 가짜 라벨의 품질과 최종 분할 성능을 향상시키는가?
• RQ4 WS-SAM은 COD, PIS, TOD 태스크에서 효과적인가, 그리고 MFG가 완전 지도 COS 및 다중 객체 이미지에 이점을 확장할 수 있는가?

주요 결과

Method	M ↓	Fβ↑	Eφ↑	Sα↑
SAM	0.207	0.595	0.647	0.635
SAM-S	0.076	0.729	0.820	0.650
WSSA	0.067	0.692	0.860	0.782
SCWS	0.053	0.758	0.881	0.792
TEL	0.073	0.708	0.827	0.785
SCOD	0.046	0.791	0.897	0.818
SCOD+	0.046	0.797	0.900	0.820
Ours	0.046	0.777	0.897	0.824

• MFG를 갖춘 WS-SAM은 COD, PIS, TOD 데이터셋에서 약하게 지도된 은닉 객체 분할 태스크의 최첨단 결과를 달성한다.
• SAM 기반 가짜 라벨은 다중 증강 융합(MAF), 픽셀 수준 엔트로피 가중치, 이미지 수준 선택으로 정제될 때 원시 SAM 출력 또는 SAM 가이던스가 없는 베이스라인보다 우수하다.
• 다중 스케일 특징 그룹화(MFG) 모듈은 특히 다중 객체 이미지에서 분할 지표를 향상시키고, 완전 지도 COS 설정에서도 이점을 제공한다.
• Scribble 감독이 있는 COD10K에서 제안된 WS-SAM 프레임워크와 MFG가 경쟁력 있는 결과를 내며, 여러 베이스라인 및 기존 WSCOS 방법보다 우수한 성능을 보인다.
• 각 구성요소(MAF, PLW, ILS) 및 MFG 설계가 지표(M, Fβ, Eφ, Sα) 전반에 걸쳐 측정 가능한 개선에 기여함을 보여주는 제거 실험이 있다.