[논문 리뷰] Fully Self-Supervised Learning for Semantic Segmentation

Yuan Wang, Wei Zhuo외 4명|arXiv (Cornell University)|2022. 02. 24.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 이미지넷 사전학습 모델에 의존하지 않고, 피라미드-전역-가이드드(PGG) 가짜 레이블링과 맥락 인식 임베딩(CAE)을 도입하여 픽셀 클러스터링을 안정화시키는 완전히 자기지도 학습 프레임워크 $FS^{4}$를 제안한다. 이 방법은 COCO-Stuff에서 14.76 mIoU를 달성하여 이전 자기지도 학습 방법보다 7 mIoU 이상 뛰어나며, 완전히 지도 학습된 사전학습 성능과도 맞먹는다.

ABSTRACT

In this work, we present a fully self-supervised framework for semantic segmentation(FS^4). A fully bootstrapped strategy for semantic segmentation, which saves efforts for the huge amount of annotation, is crucial for building customized models from end-to-end for open-world domains. This application is eagerly needed in realistic scenarios. Even though recent self-supervised semantic segmentation methods have gained great progress, these works however heavily depend on the fully-supervised pretrained model and make it impossible a fully self-supervised pipeline. To solve this problem, we proposed a bootstrapped training scheme for semantic segmentation, which fully leveraged the global semantic knowledge for self-supervision with our proposed PGG strategy and CAE module. In particular, we perform pixel clustering and assignments for segmentation supervision. Preventing it from clustering a mess, we proposed 1) a pyramid-global-guided (PGG) training strategy to supervise the learning with pyramid image/patch-level pseudo labels, which are generated by grouping the unsupervised features. The stable global and pyramid semantic pseudo labels can prevent the segmentation from learning too many clutter regions or degrading to one background region; 2) in addition, we proposed context-aware embedding (CAE) module to generate global feature embedding in view of its neighbors close both in space and appearance in a non-trivial way. We evaluate our method on the large-scale COCO-Stuff dataset and achieved 7.19 mIoU improvements on both things and stuff objects

연구 동기 및 목표

• 이미지넷 사전학습 모델에 의존하지 않고 완전히 자기지도 세그멘테이션을 가능하게 하기 위해.
• 자기지도 사전학습에서 전역적 의미 지침이 부족해 발생하는 픽셀 수준의 클러스터링 불안정성 문제를 해결하기 위해.
• 원시 이미지에서 자동으로 의미적 카테고리를 탐지할 수 있는 부트스트랩 학습 파이프라인을 개발하기 위해.
• 전역 이미지 수준의 가짜 레이블과 맥락 인식 특징 학습을 활용하여 자기지도 세그멘테이션의 강인성과 성능을 향상시키기 위해.
• 자기지도 사전학습 성능이 제로샷, 오픈월드 세그멘테이션 환경에서 완전 지도 학습 초기화 성능에 도달하거나 이를 초월할 수 있도록 하기 위해.

제안 방법

• 이중 단계 학습 파이프라인을 제안한다: 먼저 인스턴스 수준 자기지도 학습(ISS) 특징을 사용하여 이미지 수준의 클러스터링을 수행하고 피라미드 수준의 가짜 레이블을 생성한다.
• 다중 해상도 이미지 수준의 가짜 레이블을 픽셀 수준의 클러스터링에 전역적 지도로 적용하기 위해 피라미드-전역-가이드드(PGG) 전략을 도입한다.
• 이웃하는 특징 간의 공간적 및 외관 유사성을 비트리비어스한 방식으로 모델링하는 맥락 인식 임베딩(CAE) 모듈을 설계한다.
• 전역 특징에서 생성된 가짜 레이블을 사용하여 픽셀 클러스터링을 수행하고, 부트스트랩 방식으로 세그멘테이션 헤드를 엔드 투 엔드로 훈련시킨다.
• 특징 표현을 향상시키기 위해 CAE 내에서 수정된 CAM 구조를 사용하여 국소적 맥락에 주의를 기울이며 공간적 및 외관 일관성을 유지한다.
• 한 장의 이미지당 하나 이상의 가짜 레이블을 사용하여 전역 지도 손실을 적용함으로써 클러스터링을 안정화시키고 과다 분할 또는 배경 붕괴를 방지한다.

실험 결과

연구 질문

• RQ1 자기지도 세그멘테이션을 인간의 레이블 데이터(사전학습 포함) 없이 완전히 훈련시킬 수 있는가?
• RQ2 자기지도 사전학습에서 유도된 전역적 의미 지식을 효과적으로 활용하여 불안정한 픽셀 수준의 클러스터링을 안정화시킬 수 있는가?
• RQ3 다중 해상도 이미지 수준의 지도가 자기지도 픽셀 클러스터링 품질 향상에 어떤 역할을 하는가?
• RQ4 맥락 인식 특징 학습은 자기지도 세그멘테이션의 강인성과 정확도를 어떻게 향상시키는가?
• RQ5 완전히 자기지도 학습 방법이 완전 지도 학습된 이미지넷 가중치로 초기화된 모델의 성능을 도달하거나 초월할 수 있는가?

주요 결과

• 제안된 $FS^{4}$ 프레임워크는 오직 인스턴스 수준 자기지도 사전학습만을 사용하여 COCO-Stuff 데이터셋에서 14.76 mIoU를 달성하며, 이는 이전 자기지도 학습 방법보다 7 mIoU 이상 뛰어나다.
• 피라미드 수준의 가짜 레이블을 사용하는 PGG 전략은 단일 이미지 수준의 가짜 레이블링 대비 mIoU를 1.83 포인트 향상시키며, 잡음과 배경 과다 분할을 크게 감소시킨다.
• CAE 모듈은 기여가 크며, 저수준 특징만 사용할 경우 mIoU가 12.01에서 전체 CAE를 사용할 경우 14.76로 상승하여 국소적 및 고수준 맥락을 모델링하는 것이 중요함을 보여준다.
• 전역 클러스터 수에 대해 강인하며, 25~100개의 클러스터 범위에서 안정적인 성능을 보이며, COCO-Stuff에서 25개 클러스터 시 13.11 mIoU로 최고 성능 기록한다.
• 완전히 지도 학습된 이미지넷 모델로 초기화된 경우에도 $FS^{4}$는 15.69 mIoU를 달성하여 동일한 설정에서 PiCIE의 상한선인 14.36 mIoU에 거의 도달함으로써 강력한 일반화 능력을 보여준다.
• 제거 실험 결과 각 구성 요소—COCO-Stuff 미세조정, GG, CAE, PGG, Mod—이 성능 향상에 점진적으로 기여하며, 특히 PGG와 CAE가 가장 큰 기여를 한다.