[논문 리뷰] Self-Supervised Learning of Object Parts for Semantic Segmentation

Adrian Ziegler, Yuki M. Asano|arXiv (Cornell University)|2022. 04. 27.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 시각 Transformer(ViT)의 공간 토큰을 조밀한 클러스터링을 통해 객체 부분을 학습하는 자기지도 학습 방법인 Leopart를 제안한다. 이를 통해 의미 분할 성능을 향상시킨다. ViT의 주의 메커니즘을 활용하고 새로운 선구과업을 도입함으로써 Leopart는 Pascal VOC, COCO-Thing, COCO-Stuff 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여, 이전의 자기지도 학습 및 지도 학습 방법을 모두 능가한다. 이는 이식 가능한 표현 학습과 완전히 비지도 분할 모두에서 성능 향상을 이룬다.

ABSTRACT

Progress in self-supervised learning has brought strong general image representation learning methods. Yet so far, it has mostly focused on image-level learning. In turn, tasks such as unsupervised image segmentation have not benefited from this trend as they require spatially-diverse representations. However, learning dense representations is challenging, as in the unsupervised context it is not clear how to guide the model to learn representations that correspond to various potential object categories. In this paper, we argue that self-supervised learning of object parts is a solution to this issue. Object parts are generalizable: they are a priori independent of an object definition, but can be grouped to form objects a posteriori. To this end, we leverage the recently proposed Vision Transformer's capability of attending to objects and combine it with a spatially dense clustering task for fine-tuning the spatial tokens. Our method surpasses the state-of-the-art on three semantic segmentation benchmarks by 17%-3%, showing that our representations are versatile under various object definitions. Finally, we extend this to fully unsupervised segmentation - which refrains completely from using label information even at test-time - and demonstrate that a simple method for automatically merging discovered object parts based on community detection yields substantial gains.

연구 동기 및 목표

• 의미 분할을 위한 효과적인 자기지도 밀도 표현 학습이 부족한 점, 특히 비지도 또는 약한 지도 학습 설정에서의 문제를 해결하기 위해.
• 사전 정의된 객체 정의의 취약성을 극복하기 위해, 사후에 객체로 조합될 수 있는 일반화 가능한 객체 부분을 학습하기 위해.
• 인간이 레이블링한 데이터에 의존하지 않고, 의미적으로 구조화되고 공간적으로 구별 가능한 토큰 임베딩을 학습함으로써 ViT 기반 자기지도 학습 모델의 성능을 향상시키기 위해.
• 완전히 비지도 분할을 가능하게 하기 위해, 클러스터 공존 네트워크에 대한 커뮤니티 탐지 기반으로 학습된 객체 부분을 자동으로 통합하기 위해.

제안 방법

• 이미지 패치에서 공간 토큰을 추출하기 위해 DINO 사전학습을 적용한 시각 Transformer(ViT)를 활용한다.
• 특징 유사도를 기반으로 공간 토큰을 그룹화하는 조밀한 클러스터링 선구과업을 도입하여, 모델이 의미적으로 유의미한 객체 부분을 학습하도록 유도한다.
• 모멘터럼 엔코더를 사용한 대비 클러스터링을 적용하여 학습을 안정화하고 패치 간 특징의 구별 능력을 향상시킨다.
• 클러스터의 공존 네트워크에 커뮤니티 탐지를 적용하여, 완전히 비지도 설정에서 객체 부분을 자동으로 통합하여 일관된 객체 세그먼트를 형성한다.
• 이중 단계 추론 파이프라인을 활용한다: 첫 번째로 주의 맵과 클러스터 마스크를 사용한 클러스터 기반 배경 추출(CBFE); 두 번째로 배경 토큰에 대해 K-Means를 사용한 오버클러스터링.
• 노드는 학습된 클러스터를 나타내고, 간선은 공간적 공존을 나타내는 클러스터 공존 네트워크를 구성하여, 커뮤니티 탐지를 통해 고차원 객체 유사 세그먼트를 형성한다.

Figure 1 : ViTs and Resnets compared under foreground extraction and semantic segmentation. We use Jaccard distance as a measure for foreground extraction. Starting from a DINO initialization, our method, Leopart, closes the performance gap between self-supervised ViTs and their supervised counterpa

실험 결과

연구 질문

• RQ1 조밀한 클러스터링을 통한 자기지도 학습을 통해 객체 부분을 학습하면 ViT 기반의 밀도 표현 품질이 의미 분할에 향상되는가?
• RQ2 일반화 가능한 중간 표현으로서의 객체 부분 학습이, 후속 의미 분할 작업에서 직접 자기지도 사전학습보다 성능이 뛰어나게 되는가?
• RQ3 학습된 객체 부분과 커뮤니티 탐지만을 사용하여, 테스트 시 인간 레이블이 전혀 없는 완전히 비지도 분할 파이프라인을 구축할 수 있는가?
• RQ4 제안된 방법은 다양한 객체 정의와 데이터셋에서 지도 및 반지도 기반 벤치마크와 비교해 이식 가능성과 성능 측면에서 어떻게 성과를 내는가?

주요 결과

• Leopart는 DINO의 자기지도 학습 ViT보다 배경 추출에서 재현율 거리(Jaccard distance) 9% 향상되고 경계 F1 점수 9% 향상되어, 전용 비지도 샐리언시 추정기보다 뛰어난 성능을 보였다.
• Pascal VOC, COCO-Thing, COCO-Stuff 벤치마크에서 Leopart는 최신 기술 수준(SOTA) 성능을 달성하여, 이전의 자기지도 학습 및 지도 학습 방법보다 mIoU 기준 3%에서 17%까지 향상되었다.
• CBFE(클러스터 기반 배경 추출)와 커뮤니티 탐지(CD)의 조합은 이전 비지도 방법 대비 완전히 비지도 분할 성능을 6% 이상 향상시켰다.
• 커뮤니티 탐지 기법은 의미적으로 일관된 객체 부분을 성공적으로 식별하였으며, 자전거 바퀴와 자동차 바퀴를 별도의 클러스터로 식별하고, 인간 얼굴과 머리카락과 같은 의미적으로 유사한 부분을 동일한 커뮤니티로 통합하였다.
• 자기지도 학습을 통해 학습된 객체 부분은 다양한 정의에 따라 동적으로 재조합되어, 다양한 정밀도 수준의 벤치마크에서의 유연성을 입증하였다.
• 비록 ViT가 객체 정위치를 잘 수행하지만, 제안된 조밀한 클러스터링 손실을 미세조정 없이 적용하지 않으면, 분할을 위한 구별 가능한 공간 임베딩을 학습하지 못한다는 점을 입증하였다.

Figure 2 : Leopart training pipeline. We start from a DINO initialization. We feed different crops to the student and teacher network to produce patch-level cluster predictions and optimal cluster assignments targets. This requires an alignment step of cluster targets and assignments. We further foc