[논문 리뷰] Dense Contrastive Learning for Self-Supervised Visual Pre-Training

Xinlong Wang, Rufeng Zhang외 3명|arXiv (Cornell University)|2020. 11. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 40

한 줄 요약

DenseCL은 밀집(픽셀 수준) 대조 학습을 밀집 프로젝션 헤드를 통해 수행하여 밀집 예측 작업에 대한 자체 감독 사전 학습을 향상시키고, 최소한의 오버헤드로 MoCo-v2 및 ImageNet 감독보다 주목할 만한 이점을 달성합니다.

ABSTRACT

To date, most existing self-supervised learning methods are designed and optimized for image classification. These pre-trained models can be sub-optimal for dense prediction tasks due to the discrepancy between image-level prediction and pixel-level prediction. To fill this gap, we aim to design an effective, dense self-supervised learning method that directly works at the level of pixels (or local features) by taking into account the correspondence between local features. We present dense contrastive learning, which implements self-supervised learning by optimizing a pairwise contrastive (dis)similarity loss at the pixel level between two views of input images. Compared to the baseline method MoCo-v2, our method introduces negligible computation overhead (only <1% slower), but demonstrates consistently superior performance when transferring to downstream dense prediction tasks including object detection, semantic segmentation and instance segmentation; and outperforms the state-of-the-art methods by a large margin. Specifically, over the strong MoCo-v2 baseline, our method achieves significant improvements of 2.0% AP on PASCAL VOC object detection, 1.1% AP on COCO object detection, 0.9% AP on COCO instance segmentation, 3.0% mIoU on PASCAL VOC semantic segmentation and 1.8% mIoU on Cityscapes semantic segmentation. Code is available at: https://git.io/AdelaiDet

연구 동기 및 목표

• 자체 감독 사전 학습과 밀집 예측 작업(예: 객체 탐지, 의미론적 분할) 간의 격차를 해소한다.
• 공간 정보를 보존하는 밀집 픽셀 수준 대조 학습 프레임워크를 개발한다.
• 뷰 간 로컬 특징을 일치시키기 위한 밀집 프로젝션 헤드와 밀집 대조 손실을 도입한다.
• 밀집 사전 학습이 다수의 다운스트림 밀집 예측 벤치마크에서 상당한 향상을 가져옴을 입증한다.

제안 방법

• 단일 글로벌 벡터 대신 밀집 특징 맵을 출력하는 밀집 프로젝션 헤드를 도입한다.
• 글로벌 및 밀집 대조 항들을 결합한 공동 손실을 균형 가중치(λ = 0.5)로 계산한다.
• 밀집 프로젝션 출력에서 추출된 SxS 로컬 특징에 대해 InfoNCE와 유사한 밀집 대조 손실을 정의한다.
• 백본 특징 맵을 매칭하여 뷰 간 밀집 대응 관계를 확립하고 로컬 특징에 대한 올바른 양의 키 쌍을 가능하게 한다.
• 픽셀 수준의 대응을 보존하고 오버헤드를 줄이기 위해 완전 합성곱 파이프라인으로 학습한다.
• MoCo-v2와 유사한 매개변수 수를 유지하고 추가 계산이 거의 없음을 보여준다(<1%).

실험 결과

연구 질문

• RQ1 밀집 픽셀 수준 대조 학습이 이미지 수준 목표를 넘어서 밀집 예측 작업으로의 전이 성능을 개선할 수 있는가?
• RQ2 밀집 프로젝션 헤드와 밀집 대응을 최소한의 오버헤드로 성능을 극대화하도록 어떻게 설계해야 하는가?
• RQ3 글로벌 및 밀집 손실의 균형(λ)과 격자 크기(S)가 다운스트림 성능에 미치는 영향은 무엇인가?
• RQ4 다양한 데이터 셋에서 밀집 로컬 특징 학습이 객체 탐지, 인스턴스 분할 및 의미론적 분할 성능을 향상시키는가?

주요 결과

• DenseCL은 다운스트림 밀집 작업에서 MoCo-v2보다 일관되게 향상된다(예: VOC 객체 탐지에서 AP +2.0, COCO 객체 탐지에서 AP +1.1, COCO 인스턴스 분할에서 AP +0.9).
• DenseCL은 의미론적 분할에서 상당한 향상을 보인다(예: VOC에서 mIoU +3.0, Cityscapes에서 +1.8).
• COCO에서 800 에포크로 사전 학습된 DenseCL은 VOC에서 57.2 AP를 달성(이미지넷 MoCo-v2의 57.0 AP 대비), 1600에포크 COCO 사전 학습은 MoCo-v2 IN보다 설정에 따라 0.2 AP 앞서는 경우가 있다.
• DenseCL은 COCO에서 사전 학습하더라도 VOC/Coco 벤치마크에서 최고 성능을 달성하는 경우가 많으며, 종종 감독된 ImageNet 사전 학습과 동등하거나 이를 상회한다(예: VOC mIoU 67.5 vs 67.7).
• Dense 대응 추출이 밀집 매칭에서 최고의 결과를 낳는다(표 6).
• DenseCL은 MoCo-v2에 비해 에폭당 학습 시간 오버헤드를 <1%로 미미하게 도입한다.