[논문 리뷰] Unsupervised Semantic Segmentation by Contrasting Object Mask Proposals

Wouter Van Gansbeke, Simon Vandenhende외 2명|arXiv (Cornell University)|2021. 02. 11.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 비지도 학습된 주목도를 활용해 개체 마스크 제안을 생성하고, 이를 중간 수준의 사전 지식으로 사용하여 대비 학습 목표를 통해 구분 가능한 픽셀 임베딩을 학습하는 이단계 비지도 의미 분할 프레임워크를 제안한다. 이 방법은 완전히 비지도 설정에서 PASCAL VOC에서 최신 기술 수준을 달성하며, 과다 클러스터링을 사용할 경우 평균 IoU가 53.6%에 이를 뿐만 아니라 COCO 및 DAVIS로의 전이 시에도 잘 일반화된다.

ABSTRACT

Being able to learn dense semantic representations of images without supervision is an important problem in computer vision. However, despite its significance, this problem remains rather unexplored, with a few exceptions that considered unsupervised semantic segmentation on small-scale datasets with a narrow visual domain. In this paper, we make a first attempt to tackle the problem on datasets that have been traditionally utilized for the supervised case. To achieve this, we introduce a two-step framework that adopts a predetermined mid-level prior in a contrastive optimization objective to learn pixel embeddings. This marks a large deviation from existing works that relied on proxy tasks or end-to-end clustering. Additionally, we argue about the importance of having a prior that contains information about objects, or their parts, and discuss several possibilities to obtain such a prior in an unsupervised manner. Experimental evaluation shows that our method comes with key advantages over existing works. First, the learned pixel embeddings can be directly clustered in semantic groups using K-Means on PASCAL. Under the fully unsupervised setting, there is no precedent in solving the semantic segmentation task on such a challenging benchmark. Second, our representations can improve over strong baselines when transferred to new datasets, e.g. COCO and DAVIS. The code is available.

연구 동기 및 목표

• PASCAL VOC와 같은 대규모이고 다양한 벤치마크에서 완전히 비지도 의미 분할 방법의 부족을 해결한다.
• 픽셀 수준에서 의미 클래스를 구분하지 못하는 인스턴스 차별화 기반 자기지도 학습의 한계를 극복한다.
• 비지도 주목도에서 유도된 중간 수준의 시각적 사전 지식인 개체 마스크 제안을 도입하여 픽셀 임베딩의 대비 학습을 유도한다.
• 인간이 애너테이션한 마스크 없이도 학습된 임베딩을 직접 클러스터링하여 의미적 그룹으로 분류할 수 있도록 한다.
• 학습된 표현이 COCO 및 DAVIS와 같은 후행 데이터셋에 대해 반도체 학습 또는 미세조정 설정에서 전이 가능한지를 보여준다.

제안 방법

• 먼저 비지도 주목도 추정기를 사용하여 개체 마스크 제안을 생성하고, 이는 개체 수준의 정보를 담고 있는 중간 수준의 사전 지식으로 기능한다.
• 다음으로, 동일한 마스크 제안 내의 픽셀 임베딩을 서로 가깝게 하고, 다른 개체의 픽셀 임베딩은 떨어지게 하는 대비 학습 목표를 적용한다.
• ImageNet 또는 MoCo 사전 학습 가중치로 초기화된 ResNet-50 백본에 팽창 컨벌루션을 적용하여 특징을 추출한다.
• 양성 쌍은 동일한 마스크 제안 내의 픽셀로, 음성 쌍은 다른 제안에서 온 픽셀로 간주하는 대비 손실을 적용한다.
• 최종 픽셀 임베딩에 대해 K-평균 클러스터링을 수행하고, 클러스터 할당을 원본 해상도로 업샘플링한 후 히úng가리안 알고리즘을 통해 진짜 클래스와 매칭한다.
• 반도체 학습을 위한 미세조정 시, 백본 위에 선형 분류기 헤드를 적용하고, 각 레이어별로 학습률을 조정하고 폴리 감쇠 스케줄러를 사용한다.

실험 결과

연구 질문

• RQ1 개체 마스크 제안을 중간 수준의 사전 지식으로 사용하는 대비 학습 프레임워크는 인간의 마스크 애너테이션 없이도 의미 클래스에 대해 구분 가능한 픽셀 임베딩을 학습할 수 있는가?
• RQ2 비지도 의미 표현 학습에서 저수준 사전 지식(예: 에지 또는 경계)과 비교해 개체 수준의 사전 지식을 사용할 경우 어떤 성능 향상이 있는가?
• RQ3 완전히 비지도 설정에서 PASCAL VOC와 같은 도전적인 벤치마크에서 학습된 픽셀 임베딩을 직접 클러스터링하여 의미 있는 의미 그룹으로 분류할 수 있는가?
• RQ4 학습된 표현이 COCO 및 DAVIS와 같은 다른 데이터셋으로 전이되거나 미세조정되었을 때, 얼마나 잘 일반화되는가?
• RQ5 PASCAL VOC와 같이 불균형하고 복잡한 데이터셋에서 임베딩을 과다 클러스터링하면 의미적 정렬과 성능 향상이 어떻게 향상되는가?

주요 결과

• 제안된 방법은 과다 클러스터링을 사용할 경우 200개의 예측 클러스터를 사용해 PASCAL VOC에서 평균 IoU 53.6%를 달성하며, 이는 이전의 비지도 방법보다 크게 뛰어나다.
• 500개의 예측 클러스터를 사용할 경우, 감독된 주목도를 사용한 마스크 제안과 MoCo 사전 학습을 적용하면 평균 IoU가 57.0%에 도달한다.
• 이 방법은 인간의 마스크 애너테이션 없이도 PASCAL VOC에서 완전히 비지도 의미 분할 분야에서 새로운 최신 기술 수준을 수립하였으며, 이전에 사전례가 없었던 분야이다.
• 학습된 표현은 COCO 및 DAVIS로 효과적으로 전이되며, 제한된 애너테이션으로 미세조정했을 때 강력한 베이스라인을 능가한다.
• 과다 클러스터링은 성능 향상에 기여하며, 평균 IoU가 200개 클러스터일 때 45.0%에서 500개 클러스터일 때 57.0%로 증가함으로써 국소 임베딩 이웃 영역 내에 의미적으로 일관된 그룹이 존재함을 시사한다.
• 정성적 결과는 학습된 임베딩이 진짜 클래스와의 정렬이 더 잘 이루어져 있음을 보여주며, 인스턴스 차별화나 SWAV 베이스라인에 비해 더 의미 있는 구조를 포착하고 있음을 입증한다.