[논문 리뷰] Exploring Open-Vocabulary Semantic Segmentation without Human Labels

Jun Chen, Deyao Zhu외 7명|arXiv (Cornell University)|2023. 06. 01.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

ZeroSeg는 인간 레이블이 전혀 없는 상태에서 사전 학습된 시각-언어 모델(예: CLIP)의 지식을 분할 전용 모델에 흡수하는 새로운 방법을 제안한다. 다중 척도 특징 흡수와 세그먼트 매칭 손실을 활용하여, PASCAL VOC 2012(40.8 mIoU), COCO(20.4 mIoU), PASCAL Context(20.6 mIoU)에서 SOTA 수준의 제로샷 성능를 달성한다. 이는 타겟 데이터셋에 대한 미세조정 없이도, 지도 학습 모델과 기존 제로샷 방법을 능가한다.

ABSTRACT

Semantic segmentation is a crucial task in computer vision that involves segmenting images into semantically meaningful regions at the pixel level. However, existing approaches often rely on expensive human annotations as supervision for model training, limiting their scalability to large, unlabeled datasets. To address this challenge, we present ZeroSeg, a novel method that leverages the existing pretrained vision-language (VL) model (e.g. CLIP) to train open-vocabulary zero-shot semantic segmentation models. Although acquired extensive knowledge of visual concepts, it is non-trivial to exploit knowledge from these VL models to the task of semantic segmentation, as they are usually trained at an image level. ZeroSeg overcomes this by distilling the visual concepts learned by VL models into a set of segment tokens, each summarizing a localized region of the target image. We evaluate ZeroSeg on multiple popular segmentation benchmarks, including PASCAL VOC 2012, PASCAL Context, and COCO, in a zero-shot manner (i.e., no training or adaption on target segmentation datasets). Our approach achieves state-of-the-art performance when compared to other zero-shot segmentation methods under the same training data, while also performing competitively compared to strongly supervised methods. Finally, we also demonstrated the effectiveness of ZeroSeg on open-vocabulary segmentation, through both human studies and qualitative visualizations.

연구 동기 및 목표

• 비용이 많이 드는 인간이 생성한 픽셀 수준의 레이블에 의존하지 않고 오픈 뷰어드 세그먼테이션을 가능하게 하기 위해.
• 이미지 수준에서 사전 학습된 시각-언어 모델(예: CLIP)에서 얻은 시각적 개념 지식을 픽셀 수준의 세그먼테이션 작업으로 이전하기 위해.
• 각 픽셀의 감독 없이도 높은 세그먼테이션 정확도를 유지할 수 있는 학습 프레임워크를 개발하기 위해.
• 어휘적 맥락 의존성 회피를 통해 희귀 또는 복합어 클래스(예: 'bedclothes', 'motorbike')에 대한 일반화 능력을 향상시키기 위해.
• 일반 목적의 VL 모델에서의 흡수를 통해, 지도 학습 또는 대규모 사전 학습 방법과 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 계층적인 시각적 특징을 캡처하기 위해 입력 이미지를 다중 척도 영역으로 나눈다.
• 각 영역에 대해 사전 학습된 CLIP 시각 인코더를 사용해 이미지 수준의 의미적 특징을 추출한다.
• CLIP의 시각적 개념을 다중 척도 특징 흡수 손실을 통해 학습 가능한 세그먼트 토큰이 흡수하도록 한다.
• 각 세그먼트 토큰을 의미적으로 일관된 이미지 영역과 정렬하기 위해 세그먼트 매칭 손실을 적용하여 공간적 일관성 향상.
• 학습 효율성과 특징 표현을 향상시키기 위해 마스크된 오토인코더를 활용한다.
• 인간이 생성한 세그먼테이션 레이블 없이 ImageNet-1K 이미지만을 사용하여 전체 ZeroSeg 모델를 엔드 투 엔드로 훈련한다.

Figure 1: ZeroSeg overview. ZeroSeg is a zero-shot open-vocabulary method for semantic segmentation. The approach begins by dividing the input image into a set of multi-scale views. Each view is then individually processed by a pretrained CLIP visual encoder model to extract visual concepts. These v

실험 결과

연구 질문

• RQ1 CLIP과 같은 시각-언어 모델이 픽셀 수준의 감독 없이 제로샷 세그먼테이션에 효과적으로 활용될 수 있는가?
• RQ2 이미지 수준에서 학습된 시각적 개념은 어떻게 국소화된 픽셀 수준의 세그먼테이션 작업으로 이전될 수 있는가?
• RQ3 학습된 세그먼트 토큰을 의미적으로 의미 있는 이미지 영역과 정렬하는 데 가장 효과적인 손실 함수는 무엇인가?
• RQ4 인간 레이블 없이 훈련된 모델이 희귀 또는 복합어 클래스와 같은 오픈 뷰어드 설정으로 일반화될 수 있는가?
• RQ5 순수하게 흡수 기반 방법의 성능는 지도 학습 또는 대규모 사전 학습 방법과 비교해 어떻게 되는가?

주요 결과

• ZeroSeg는 제로샷 설정에서 PASCAL VOC 2012에서 40.8 mIoU를 달성하여 기존 제로샷 방법을 능가한다.
• PASCAL Context에서는 20.6 mIoU, COCO에서는 20.4 mIoU를 기록하여 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 보여준다.
• 절단 실험을 통해 다중 척도 흡수와 세그먼트 매칭 손실이 모두 필수적임을 확인하였으며, 병합된 손실이 가장 정확한 경계 예측을 이끌어낸다.
• ZeroSeg는 'bedclothes'와 같은 하위어나 복합어 클래스에서 GroupViT를 크게 능가하며, 언어 맥락 의존성 감소를 보여준다(+18.07%).
• 인간 레이블 없이 130만 장의 ImageNet-1K 이미지만을 사용하여 훈련했음에도 불구하고, 2000만~2600만 장의 이미지-텍스트 쌍으로 사전 학습하거나 인간 레이블로 미세조정된 모델의 성능을 따라하거나 초월한다.
• 정성 있는 결과와 인간 평가를 통해 ZeroSeg가 이전의 제로샷 방법보다 더 정확하고 공간적으로 일관된 세그먼트 마스크를 생성함을 확인한다.

Figure 2: Training ZeroSeg model. ZeroSeg architecture consists of a ViT encoder and two heads including a decoder head and a segmentation head. The outputs from the decoder head is used to reconstruct the masked input image during training ( i.e . , masked autoencoding [ 21 ] ), while the outputs f