[논문 리뷰] Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases

Senthil Purushwalkam, Abhinav Gupta|arXiv (Cornell University)|2020. 07. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 130

한 줄 요약

논문은 대조적 자기지도 학습이 왜 성공하는지 분석하고, 차폐 불변성이 공격적 증강과 객체 중심 데이터셋 편향에서 크게 기인함을 보여주며, 시점 불변성을 개선하기 위해 비디오 기반 시간적 변환을 제안한다.

ABSTRACT

Self-supervised representation learning approaches have recently surpassed their supervised learning counterparts on downstream tasks like object detection and image classification. Somewhat mysteriously the recent gains in performance come from training instance classification models, treating each image and it's augmented versions as samples of a single class. In this work, we first present quantitative experiments to demystify these gains. We demonstrate that approaches like MOCO and PIRL learn occlusion-invariant representations. However, they fail to capture viewpoint and category instance invariance which are crucial components for object recognition. Second, we demonstrate that these approaches obtain further gains from access to a clean object-centric training dataset like Imagenet. Finally, we propose an approach to leverage unstructured videos to learn representations that possess higher viewpoint invariance. Our results show that the learned representations outperform MOCOv2 trained on the same data in terms of invariances encoded and the performance on downstream image classification and semantic segmentation tasks.

연구 동기 및 목표

• 물체 인식 과제에서 대조적 자기지도 표현이 어떤 불변성을 인코딩하는지 조사한다.
• 대조적 SSL 방법의 성공에 있어 데이터 증강 전략과 데이터셋 편향의 역할을 분석한다.
• 자기지도 방법과 감독형 기준선 간의 주요 불변성(occlusion, viewpoint, illumination, instance) 비교 평가한다.
• 학습 표현의 시야 불변성 및 다른 불변성을 개선하기 위한 대안(비디오 사용)을 제안하고 실험한다.

제안 방법

• 대조 학습 목표 및 양성/음성 샘플 구성 수립을 형식화한다.
• Top-K Representaion Invariance Score RIS를 occlusion, viewpoint, illumination, instance 요인에 걸쳐 측정한다.
• 증강 체계(random crops, aggressive Cropping)와 데이터셋 편향(ImageNet object-centric bias)의 학습 표현 영향 진단한다.
• 지도학습 vs 자기지도(MOCOv2, PIRL) 표현을 다운스트림 과제 및 불변성에서 비교한다.
• 비디오에서 시간적 변환 기반 학습을 제안하여 시점 및 조명 불변성을 강화한다(프레임 수준 및 영역 추적).
• 제안된 비디오 기반 표현을 분류(Pascal, Pascal Cropped Boxes, ImageNet)과 분할(ADE20K)에서 평가한다.

실험 결과

연구 질문

• RQ1 대조적 자기지도 표현이 어떤 불변성을 인코딩하며 이러한 불변성이 사전 학습 중 사용된 증강과 어떤 관련이 있는가?
• RQ2 자기지도 방법이 감독형 기준선에 비해 차폐, 시점, 인스턴스 불변성을 어느 정도 달성하는가?
• RQ3 사전 학습 데이터셋의 데이터 편향(예: ImageNet의 객체 중심 편향)이 학습 표현과 다운스트림 성능에 어떤 영향을 미치는가?
• RQ4 비디오에서 시간적으로 일관된 변환을 활용하면 시점, 변형 및 다른 불변성을 향상시킬 수 있는가?
• RQ5 비디오 기반 또는 영역 추적 접근법이 이미지 기반 MOCOv2보다 불변성 및 다운스트림 과제에서 더 나은 표현을 만들어내는가?

주요 결과

• 자기지도 방법(MOCO, PIRL)은 공격적인 자르기 덕분에 차폐 불변성이 강하지만 시점과 인스턴스 불변성에서는 감독형 모델보다 뒤처진다.
• 공격적 증강으로 인한 차폐 불변성은 모든 과제에 반드시 이로울 수 없으며, 객체 중심 데이터셋 편향에 의존하는 것이 관찰된 이득을 유발할 수 있다.
• ImageNet의 감독형 모델은 서로 다른 불변성 프로필을 보이며, 자기지도 방법은 차폐에서 뛰어나지만 시점, 조명 방향/색상, 인스턴스 불변성에서는 열세하다.
• MSCOCO 및 잘린 박스 변형에 대한 평가에서 사전 학습 데이터의 객체 중심 편향이 판별력과 전이 가능성에 크게 영향을 준다.
• 비디오 기반 시간적 변환(프레임 수준 및 영역 추적 접근)은 시점 및 조명 불변성을 개선하고 동일한 데이터로 학습된 MOCOv2보다 여러 지표에서 우수할 수 있다.
• 영역 추적 표현은 프레임 기반 방법에 비해 시점 및 조명 불변성에서 더 높은 성능과 경쟁력 있는 다운스트림 성과(Pascal, ImageNet, ADE20K)를 달성한다.