[논문 리뷰] Leveraging Hidden Positives for Unsupervised Semantic Segmentation

Hyun Seok Seong, WonJun Moon외 2명|arXiv (Cornell University)|2023. 03. 27.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 대비 학습을 통해 두 가지 유형의 은닉 양성 예제—세분화 간의 의미 일致성에 기여하는 전역 은닉 양성 예제(GHPs)와 공간 일치성에 기여하는 국소 은닉 양성 예제(LHPs)—를 활용하는 새로운 비지도 의미 분할 방법을 제안한다. 작업에 특화된 특징을 점진적으로 통합하고 의미적으로 유사한 인접 패치로 기울기 전파를 수행함으로써, COCO-stuff, Cityscapes, Potsdam-3에서 최고 성능을 달성한다.

ABSTRACT

Dramatic demand for manpower to label pixel-level annotations triggered the advent of unsupervised semantic segmentation. Although the recent work employing the vision transformer (ViT) backbone shows exceptional performance, there is still a lack of consideration for task-specific training guidance and local semantic consistency. To tackle these issues, we leverage contrastive learning by excavating hidden positives to learn rich semantic relationships and ensure semantic consistency in local regions. Specifically, we first discover two types of global hidden positives, task-agnostic and task-specific ones for each anchor based on the feature similarities defined by a fixed pre-trained backbone and a segmentation head-in-training, respectively. A gradual increase in the contribution of the latter induces the model to capture task-specific semantic features. In addition, we introduce a gradient propagation strategy to learn semantic consistency between adjacent patches, under the inherent premise that nearby patches are highly likely to possess the same semantics. Specifically, we add the loss propagating to local hidden positives, semantically similar nearby patches, in proportion to the predefined similarity scores. With these training schemes, our proposed method achieves new state-of-the-art (SOTA) results in COCO-stuff, Cityscapes, and Potsdam-3 datasets. Our code is available at: https://github.com/hynnsk/HP.

연구 동기 및 목표

• 비지도 의미 분할에서 작업에 특화된 지침과 국소적 의미 일치성의 부족을 해결한다.
• 이전의 대비 학습 기반 방법에서 고정된 백본과 데이터 증강에 의존하는 한계를 극복한다.
• 학습 중에 작업에 무관한 특징과 작업에 특화된 특징 참조를 함께 통합함으로써 모델 일반화 능력을 향상시킨다.
• 주의 점수를 기반으로 의미적으로 유사한 인접 패치로 손실 기울기를 전파하여 국소 일관성을 강제한다.
• 픽셀 수준의 애너테이션 없이도 특징 공간 내 임베디드 의미 관계를 활용하여 최고 성능을 달성한다.

제안 방법

• 고정된 사전 훈련된 ViT 백본에서 유도된 작업에 무관한 GHPs와 훈련 중인 세분화 헤드에서 유도된 작업에 특화된 GHPs의 두 가지 유형의 전역 은닉 양성 예제(GHPs)를 정의한다.
• 각 앵커에 대해 두 참조 풀에서 의미적으로 유사한 패치를 선택하는 데이터 기반 기준을 사용하여 신뢰할 수 있는 양성 예제 수집을 보장한다.
• 훈련 과정에서 점차 작업에 특화된 GHPs의 기여도를 증가시켜 모델이 세분화 관련 특징으로 유도되도록 한다.
• 근접한 패치(국소 은닉 양성 예제, LHPs)로 손실 기울기를 전파하는 기울기 전파 전략을 도입한다. 이 전파 비율은 주의 점수 비례로 결정된다.
• 인접한 패치가 동일한 의미 레이블을 공유할 가능성이 높다는 본질적 가정을 활용하여 국소 일관성을 강제한다.
• 모든 픽셀 수준의 감독 없이 GHPs와 LHPs를 모두 활용하여 대비 학습을 수행함으로써 특징 표현을 최적화한다.

Figure 1 : Assuming a mini-batch comprising two images shown in (a), we describe two types of hidden positives, to leverage for contrastive learning. (a) With two types of hidden positives introduced in (b) and (c), we provide an example of how our training scheme provides more precise and consisten

실험 결과

연구 질문

• RQ1 지식 기반 애너테이션 없이 비지도 의미 분할에서 작업에 특화된 의미 특징을 어떻게 점진적으로 학습할 수 있는가?
• RQ2 사전 훈련된 특징과 훈련 단계 특징에서 유도된 전역 은닉 양성 예제가 의미 표현 학습에 얼마나 기여하는가?
• RQ3 의미적으로 유사한 인접 패치로 기울기를 전파하는 것이 국소 일관성과 세분화 품질을 향상시킬 수 있는가?
• RQ4 기존 최고 성능(SOTA) 방법과 비교할 때 표준 벤치마크에서 mIoU와 정확도 측면에서 본 방법의 성능은 어떠한가?
• RQ5 참조 풀 크기와 온도 스케일링과 같은 하이퍼파rameter 선택에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 제안된 방법은 COCO-stuff에서 mIoU 41.4와 정확도 75.1을 기록하여 이전 방법들을 능가하는 최고 성능을 달성한다.
• Cityscapes에서는 mIoU 39.1과 정확도 74.1을 기록하여 DINO + GradProp 및 기타 베이스라인을 능가한다.
• Potsdam-3에서는 mIoU 41.3과 정확도 74.9를 기록하여 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 보여준다.
• 제거 실험 결과, 다양한 참조 풀 크기와 온도 값에서 성능 저하가 최소한이었으며, 하이퍼파ram터 변화에 대해 강인함을 입증한다.
• 시각화 결과는 GHP 선택 과정이 굵은 애너테이션을 넘어서 세부적인 의미 차이, 예를 들어 사람의 신체 부위를 잘 포착함을 확인한다.
• 기울기 전파 전략은 의미적으로 유사한 인접 패치의 주의 점수가 비유사한 패치보다 높은 것으로 나타나 국소 일관성을 효과적으로 강제함을 보여준다.

Figure 2 : Illustration of the global hidden positive (GHP) selection process. Our GHP can be divided into two sub-sets: task-agnostic and task-specific. An index set of task-agnostic GHP ${P}_{i}^{\text{ag}}$ comprises the indices of positives discovered within the task-agnostic reference pool $Q^{