[논문 리뷰] Open-Vocabulary Semantic Segmentation with Mask-adapted CLIP

Feng Liang, BoRui Wu외 7명|arXiv (Cornell University)|2022. 10. 09.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

이 논문은 약한 지도 학습, 다양한 마스크-카테고리 쌍을 이미지-캡션 데이터셋에서 추출하여 CLIP를 미세조정하는 방식으로 개방형 어휘 의미 분할을 위한 Mask-adapted CLIP를 제안한다. 이때 마스크 입력을 처리하기 위해 CLIP 가중치를 업데이트하지 않는 마스크 프롬프트 튜닝을 도입한다. 이 방법은 ADE20K-150에서 29.6% mIoU를 달성하여 이전 최고 성능보다 +8.5% 향상되었으며, 데이터셋 특화 적응 없이도 감독 전문 모델과 동등한 성능을 보였다.

ABSTRACT

Open-vocabulary semantic segmentation aims to segment an image into semantic regions according to text descriptions, which may not have been seen during training. Recent two-stage methods first generate class-agnostic mask proposals and then leverage pre-trained vision-language models, e.g., CLIP, to classify masked regions. We identify the performance bottleneck of this paradigm to be the pre-trained CLIP model, since it does not perform well on masked images. To address this, we propose to finetune CLIP on a collection of masked image regions and their corresponding text descriptions. We collect training data by mining an existing image-caption dataset (e.g., COCO Captions), using CLIP to match masked image regions to nouns in the image captions. Compared with the more precise and manually annotated segmentation labels with fixed classes (e.g., COCO-Stuff), we find our noisy but diverse dataset can better retain CLIP's generalization ability. Along with finetuning the entire model, we utilize the "blank" areas in masked images using a method we dub mask prompt tuning. Experiments demonstrate mask prompt tuning brings significant improvement without modifying any weights of CLIP, and it can further improve a fully finetuned model. In particular, when trained on COCO and evaluated on ADE20K-150, our best model achieves 29.6% mIoU, which is +8.5% higher than the previous state-of-the-art. For the first time, open-vocabulary generalist models match the performance of supervised specialist models in 2017 without dataset-specific adaptations.

연구 동기 및 목표

• 사전 학습된 CLIP 모델이 도메인 분리로 인해 마스크된 이미지 영역에서 성능이 떨어지는 문제를 해결하기 위해.
• 클로즈드 셋 애너테이션에 과적합되지 않도록 하면서도 CLIP의 개방형 어휘 일반화 능력을 유지하면서 마스크된 입력에 적응시키기 위해.
• CLIP의 가중치를 미세조정하지 않고도 성능을 향상시킬 수 있는 경량이며 파rameter 효율적인 적응 방법을 개발하기 위해.
• 재학습이나 데이터셋 특화 적응 없이도 사용자가 정의한 임의의 텍스트 쿼리에 대해 제로샷 분할을 가능하게 하기 위해.
• 일반화 전문 모델이 감독 전문 모델의 성능을 따라잡을 수 있음을 입증하기 위해.

제안 방법

• 이미지-캡션 데이터셋(예: COCO Captions)에서 캡션의 명사를 추출하고, 분할 모델이 생성한 클래스 무관 마스크 제안을 매칭하여 학습 데이터를 추출한다.
• CLIP를 사용해 각 명사를 가장 유사한 마스크 영역 제안과 매칭함으로써, 다양한 개방형 어휘에 맞는 약한 지도 학습 마스크-카테고리 쌍을 구성한다.
• 추론 중 마스크된 이미지의 0 토큰을 학습 가능한 프롬프트 토큰으로 대체하는 마스크 프롬프트 튜닝을 도입하여, CLIP의 파rameters를 업데이트하지 않고 도메인 분리 문제를 완화한다.
• CLIP 가중치를 동결한 프롬프트 전용 튜닝과 CLIP 및 프롬프트를 함께 미세조정하는 방식을 모두 허용하며, 후자가 강력한 성능 향상을 보였다.
• 최종 모델은 약한 지도 학습 데이터로 엔드 투 엔드로 훈련되고, 훈련 중에 볼 수 없었던 텍스트 쿼리에 대해 제로샷 추론을 통해 평가된다.
• 이 방법은 ADE20K-150과 Pascal-Context에서 평가되어 다양한 개방형 쿼리에 대해 강력한 제로샷 일반화 성능을 보였다.

Figure 1 : (a) CLIP is pre-trained with natural images with little data augmentation. (b) Two-stage open-vocabulary semantic segmentation approaches first generate class-agnostic mask proposals and then leverage pre-trained CLIP to do open-vocabulary classification. The input of the CLIP model is cr

실험 결과

연구 질문

• RQ1 사전 학습된 CLIP 모델이 가중치를 미세조정하지 않고도 마스크된 이미지 영역을 개방형 어휘 의미 분할에서 효과적으로 분류할 수 있는가?
• RQ2 이미지 캡션에서 추출한 약한 지도 학습, 다양한 마스크-카테고리 쌍을 사용할 경우, 수동으로 애너테이션된 클로즈드 셋 분할 레이블보다 CLIP의 개방형 어휘 일반화 능력을 더 잘 유지하는가?
• RQ3 마스크된(0) 토큰을 학습 가능한 프롬프트로 대체하는 마스크 프롬프트 튜닝이 CLIP의 마스크된 이미지 성능을 파arameters를 수정하지 않고도 크게 향상시킬 수 있는가?
• RQ4 약한 지도 학습 데이터와 마스크 프롬프트 튜닝의 조합이 일반화 모델이 감독 전문 모델의 성능을 개방형 어휘 분할에서 따라잡을 수 있도록 하는가?
• RQ5 훈련 중에 볼 수 없었던 사용자 정의의 개방형 텍스트 쿼리에 대해 모델은 어떻게 일반화되는가?

주요 결과

• 제안된 방법은 ADE20K-150에서 29.6% mIoU를 달성하여 이전 최고 성능보다 8.5% 향상되었다.
• 마스크 프롬프트 튜닝만으로도 ADE20K-150에서 4.7% mIoU 향상, Pascal-Context에서는 4.0% 향상되었으며, CLIP 가중치를 업데이트하지 않았다.
• 마스크 프롬프트 튜닝과 전체 미세조정을 결합했을 때, 완전히 미세조정된 CLIP보다 0.8% mIoU 높은 성능을 보여, 이 방법이 보완적인 효과를 가짐을 입증했다.
• 이미지당 하나의 캡션만을 사용해 데이터 추출해도 최적의 성능(28.8% mIoU, ADE20K-150)을 달성했으며, 다섯 개를 사용하는 것보다 5배 빠르며, 과잉 중복 없이도 충분한 커버리지가 확보되었다.
• 훈련 중에 이러한 개념을 다루지 않은 사용자 정의 쿼리인 'Saturn V', 'Oculus', 'golden gate' 등도 성공적으로 분할하여 강력한 제로샷 일반화 능력을 입증했다.
• ADE20K-150에서 감독 전문 모델과 성능이 동등한 성능을 달성하여, 데이터셋 특화 적응 없이도 일반화 전문 모델이 전문 모델 수준의 정확도를 따라잡는 최초의 사례로 기록되었다.

Figure 2 : Two-stage approaches consist of one segmentation model, e.g . , MaskFormer, and one CLIP model. Firstly, the modified MaskFormer is trained with CLIP’s text embeddings so as to perform open-vocabulary segmentation. (Section 3.1 ). We then use the pre-trained segmentation model to generate