[논문 리뷰] Dense Semantic Contrast for Self-Supervised Visual Representation Learning

Xiaoni Li, Yu Zhou외 6명|arXiv (Cornell University)|2021. 09. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 4

한 줄 요약

이 논문은 자기지도 학습 시각 표현 학습 방법인 DSC(Dense Semantic Contrast)를 제안한다. 이 방법은 이미지 내외의 상하좌우 관계를 활용하여 픽셀 수준의 의미적 카테고리 결정 경계를 모델링한다. 다중 해상도 대비 프레임워크를 도입하여 인스턴스, 픽셀, 의미 수준의 표현을 동시에 최적화함으로써, 객체 검출 및 세분화와 같은 밀도 높은 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Self-supervised representation learning for visual pre-training has achieved remarkable success with sample (instance or pixel) discrimination and semantics discovery of instance, whereas there still exists a non-negligible gap between pre-trained model and downstream dense prediction tasks. Concretely, these downstream tasks require more accurate representation, in other words, the pixels from the same object must belong to a shared semantic category, which is lacking in the previous methods. In this work, we present Dense Semantic Contrast (DSC) for modeling semantic category decision boundaries at a dense level to meet the requirement of these tasks. Furthermore, we propose a dense cross-image semantic contrastive learning framework for multi-granularity representation learning. Specially, we explicitly explore the semantic structure of the dataset by mining relations among pixels from different perspectives. For intra-image relation modeling, we discover pixel neighbors from multiple views. And for inter-image relations, we enforce pixel representation from the same semantic class to be more similar than the representation from different classes in one mini-batch. Experimental results show that our DSC model outperforms state-of-the-art methods when transferring to downstream dense prediction tasks, including object detection, semantic segmentation, and instance segmentation. Code will be made available.

연구 동기 및 목표

• 밀도 높은 예측 작업에서 요구하는 더 정밀하고 의미적으로 일관된 표현을 얻기 위해 자기지도 사전 학습과 밀도 높은 예측 작업 사이의 격차를 해소한다.
• 기존의 인스턴스 수준 및 픽셀 수준 대비 방법이 의미 카테고리 경계를 명시적으로 모델링하지 못하는 한계를 극복한다.
• 다양한 시각에서 동일한 이미지 내외의 픽셀 간 의미 관계를 명시적으로 탐색하여 표현 품질을 향상시킨다.
• 저수준(픽셀), 중수준(인스턴스), 고수준(의미 카테고리)의 시각 이해를 통합하는 다중 해상도 학습을 가능하게 한다.
• 다른 이미지에서 동일한 의미 클래스에 속하는 픽셀의 표현을 정렬하여 밀도 높은 예측을 위한 특징의 구분 능력을 향상시킨다.

제안 방법

• 동일한 의미 카테고리에 속한 픽셀 표현 간 유사성을 강제로 유지하는 밀도 높은 이미지 간 의미 대비 학습 프레임워크를 제안한다.
• 동일한 이미지의 다중 증강된 시각에서 픽셀 이웃 관계를 탐색하여 내부 이미지 관계를 모델링한다.
• k-최근접 이웃(K-NN)과 프로토타입 탐색(PM)을 사용하여 이미지 간 의미 이웃을 식별하고, 대비 학습을 위한 양성 쌍을 구성한다.
• 인스턴스, 픽셀, 의미 수준의 다중 해상도를 통합하여 단일 학습 목표로 통합함으로써 국소적 및 전반적 의미 이해를 동시에 최적화한다.
• 동일한 의미 카테고리에 속한 픽셀의 표현을 정렬하고, 다른 클래스의 표현은 상호 간에 분리시키기 위해 대비 손실을 적용한다.
• Grad-CAM 시각화를 활용해 특징 주의도 맵을 분석하고 비교함으로써, DSC가 기존 방법 대비 더 높은 경계 민감도를 확보하고 있음을 입증한다.

실험 결과

연구 질문

• RQ1 픽셀 수준에서 의미 카테고리 경계를 명시적으로 모델링하면 밀도 높은 예측 작업을 위한 자기지도 표현 학습 성능이 향상되는가?
• RQ2 다중 해상도 표현 학습(인스턴스, 픽셀, 의미)을 통합할 경우, 최종 성능에 어떤 영향을 미치는가?
• RQ3 인스턴스 수준 또는 픽셀 수준의 대비 학습만을 사용하는 것에 비해, 이미지 간 의미 관계 탐색이 특징의 구분 능력을 얼마나 향상시키는가?
• RQ4 데이터 증강과 인스턴스 구분에 의존하는 방법에 비해, 의미적 구조를 명시적으로 모델링하는 대비 프레임워크가 더 뛰어난 성능을 낼 수 있는가?
• RQ5 다른 의미 이웃 탐색 전략(K-NN 대비 프로토타입 탐색)이 최종 표현 품질과 수렴 안정성에 어떤 영향을 미치는가?

주요 결과

• DSC는 PASCAL VOC 객체 검출 및 세분화 작업에서 최신 기술 수준의 성능을 달성하였으며, 세 가지 해상도를 모두 사용할 경우 AP는 57.1, mIoU는 57.9를 기록하였다.
• 제거 실험 결과, 각 추가된 해상도 수준에 따라 성능이 점진적으로 향상됨을 확인할 수 있었다: 인스턴스 전용(54.7 AP), 픽셀+인스턴스(56.4 AP), 전체 다중 해상도(57.1 AP).
• 프로토타입 탐색을 사용한 DSC-PM 모델은 K-NN 기반 DSC-KM보다 뛰어난 성능을 보였으며, PASCAL VOC 세분화 작업에서 mIoU 57.9를 기록하였다.
• Grad-CAM 시각화 결과, DSC는 MoCo-v2와 DenseCL에 비해 특히 객체 경계 부근에서 더 높은 경계 민감도를 확보하고 있음을 확인하였다.
• 오직 픽셀 수준 또는 의미 수준의 대비 학습만을 사용한 모델는 수렴하지 못함을 확인하였으며, 이는 다중 해상도 학습이 안정성과 성능 향상에 필수적임을 시사한다.
• qualitative 비교를 통해 PASCAL VOC에서 DSC는 MoCo-v2와 DenseCL에 비해 더 정확하고 일관성 있는 세분화 마스크를 생성함을 확인하였으며, 세분화 작업에서 픽셀 카테고리 오분류를 효과적으로 줄였다.