[논문 리뷰] Towards Unsupervised Open World Semantic Segmentation

Svenja Uhlemeyer, Matthias Rottmann외 1명|arXiv (Cornell University)|2022. 01. 04.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 인간의 레이블 없이도 새로운 객체 클래스를 탐지하고 학습할 수 있는 비지도 개방세계 세분화 방법을 제안한다. 컨볼루션 신경망(이하 CNN)에 통합된 특징을 사용해 저품질 세분화 성분을 군집화하고, 이를 의사 레이블로 설정해 점진적 학습을 수행함으로써, 예측되지 않은 클래스에 대해 높은 세분화 정확도를 달성한다. 이는 자율주행과 같은 실제 환경에서 강력한 제로샷 클래스 확장 능력을 보여준다.

ABSTRACT

For the semantic segmentation of images, state-of-the-art deep neural networks (DNNs) achieve high segmentation accuracy if that task is restricted to a closed set of classes. However, as of now DNNs have limited ability to operate in an open world, where they are tasked to identify pixels belonging to unknown objects and eventually to learn novel classes, incrementally. Humans have the capability to say: I don't know what that is, but I've already seen something like that. Therefore, it is desirable to perform such an incremental learning task in an unsupervised fashion. We introduce a method where unknown objects are clustered based on visual similarity. Those clusters are utilized to define new classes and serve as training data for unsupervised incremental learning. More precisely, the connected components of a predicted semantic segmentation are assessed by a segmentation quality estimate. connected components with a low estimated prediction quality are candidates for a subsequent clustering. Additionally, the component-wise quality assessment allows for obtaining predicted segmentation masks for the image regions potentially containing unknown objects. The respective pixels of such masks are pseudo-labeled and afterwards used for re-training the DNN, i.e., without the use of ground truth generated by humans. In our experiments we demonstrate that, without access to ground truth and even with few data, a DNN's class space can be extended by a novel class, achieving considerable segmentation accuracy.

연구 동기 및 목표

• 딥 네트워크(DNN)가 새로운 객체 클래스를 탐지하고 학습할 수 있도록 개방세계 환경에서의 한계를 해결한다.
• 지식 기반 레이블이 없는 조건에서 새로운 의미적 클래스에 대한 비지도 점진적 학습을 가능하게 한다.
• 세분화 품질 평가를 통해 알 수 없는 객체를 식별하고, 시각적 유사성 기반으로 이를 군집화하는 방법을 개발한다.
• 기존 클래스의 성능을 유지하면서, 자동으로 생성된 의사 레이블을 사용해 DNN 재학습을 유도한다.

제안 방법

• 정답 레이블 없이도 엔트로피, 마진, 변동비율 등의 지표를 사용해 연결 성분별 세분화 품질을 추정하기 위해 메타 회귀모델을 사용한다.
• 품질 임계값을 기반으로 저품질 세그먼트를 모아 의심스러운 객체(잠재적 신규 인스턴스)로 통합한다.
• 의심스러운 객체의 이미지 패치를 추출하고, 사전 훈련된 CNN(예: DenseNet201, ResNet18)을 통해 특징 임베딩을 추출한다.
• 특징에 대해 차원 감소(예: 2차원으로)를 적용하여, 시각적 유사성 기반으로 비지도 군집화(예: DBSCAN)를 가능하게 한다.
• 각 군집에 의사 레이블을 할당하고, 이 의사 레이블이 부여된 픽셀을 사용해 세분화 모델을 점진적 학습으로 업데이트한다.
• 인간의 레이블 없이도 원래 데이터셋과 함께 새로 발견된 클래스를 포함한 확장된 데이터셋을 사용해 DNN을 재학습한다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 인간의 레이블 없이도 개방세계 환경에서 새로운 객체 클래스를 탐지하고 학습할 수 있는가?
• RQ2 세분화 품질 평가가 알 수 없는 또는 새로운 객체에 属하는 픽셀을 식별하는 데 얼마나 효과적인가?
• RQ3 시각적 특징 기반으로 저품질 세그먼트를 군집화하는 것이 새로운 의미적 클래스를 정확히 발견하는 데 얼마나 기여하는가?
• RQ4 점진적 학습 과정에서 기존에 알려진 클래스의 성능을 어떻게 유지하는가?
• RQ5 다양한 특징 추출기의 성능에 대해 신규 클래스 탐지 및 세분화 정확도에 어떤 영향을 미치는가?

주요 결과

• DenseNet201을 특징 추출기로 사용할 때, Cityscapes 데이터셋에서 DeepLabV3+ 모델에 'human'이라는 신규 클래스를 추가한 결과, 평균 IoU가 73.99 ± 0.38를 기록했다.
• 기존 클래스에 대해 높은 안정성을 유지하며, 런에 따른 평균 IoU 표준편차가 1.20% 이하로 낮게 유지되었다.
• 한 실험에서 신규 클래스의 IoU 표준편차는 최대 4.80%였지만, 여전히 안정성에 대한 수용 가능한 수준이었다.
• 저품질 세그먼트를 군집화한 의사 레이블링은 제한된 데이터와 인간의 레이블 없이도 효과적인 점진적 학습을 가능하게 했다.
• 실제 환경에서 전기 스쿠터나 보트 트레일러와 같은 새로운 객체를 성공적으로 탐지하고 세분화했으며, Cityscapes 및 A2D2 데이터셋에서 검증되었다.
• 모듈러한 설계 덕분에 특히 특징 추출기와 같은 구성 요소를 쉽게 교체해도 성능 저하 없이 유사한 결과를 얻을 수 있었다. ResNet18, ResNet152, DenseNet201 간 유사한 성능 결과가 확인되었다.