[논문 리뷰] What makes instance discrimination good for transfer learning?

Nanxuan Zhao, Zhirong Wu외 2명|arXiv (Cornell University)|2020. 06. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 83

한 줄 요약

본 논문은 인스턴스 구별(대조적) 사전학습이 왜 잘 전이되는지 분석하며, 저수준/중간 수준 표현이 전이를 주도하고, intra-class invariance from supervised pretraining can hurt transfer, 그리고 Exemplar-based supervision이 다양한 태스크에서 일반화 성능을 개선할 수 있음을 보인다.

ABSTRACT

Contrastive visual pretraining based on the instance discrimination pretext task has made significant progress. Notably, recent work on unsupervised pretraining has shown to surpass the supervised counterpart for finetuning downstream applications such as object detection and segmentation. It comes as a surprise that image annotations would be better left unused for transfer learning. In this work, we investigate the following problems: What makes instance discrimination pretraining good for transfer learning? What knowledge is actually learned and transferred from these models? From this understanding of instance discrimination, how can we better exploit human annotation labels for pretraining? Our findings are threefold. First, what truly matters for the transfer is low-level and mid-level representations, not high-level representations. Second, the intra-category invariance enforced by the traditional supervised model weakens transferability by increasing task misalignment. Finally, supervised pretraining can be strengthened by following an exemplar-based approach without explicit constraints among the instances within the same category.

연구 동기 및 목표

• Instance discrimination의 어떤 측면이 다운스트림 태스크로의 강한 전이를 가능하게 하는지 이해한다.
• 대조적 사전학습 동안 어떤 지식이 학습되고 전이되는지 식별한다.
• 전이 성능에 대한 데이터 의미론과 이미지 증강의 역할을 평가한다.
• 인스턴스별 정보를 보존하면서 전이를 개선하기 위한 감독 학습 변형을 제안한다.
• 여러 전이 시나리오(탐지, 분할, 소수 샷, 얼굴 랜드마크 태스크)에서 일반성에 대한 분석의 일반성을 평가한다.

제안 방법

• 대조적(MoCo-based)와 감독 학습 사전학습을 다운스트림 태스크에서 비교한다(VOC07 탐지, COCO 탐지/분할, Cityscapes 분할).
• 두 사전학습 패러다임에 대해 이미지 증강이 전이 성능에 미치는 영향을 체계적으로 연구한다.
• 의미론이 서로 다른 데이터셋의 overlap과 크기로 사전학습 데이터의 의미를 조사한다.
• 탐지 도구상자와 특징 역전을 통해 고수준 정보와 저수준/중간 수준 정보 중 무엇이 학습되었는지 이해하기 위해 전이 실패와 위치 정확도를 분석한다.
• 클래스 레이블을 사용하여 실제 음수를 필터링하는 Exemplar loss를 도입하여 intra-class 변이를 축소하지 않으면서 감독 학습 사전학습 목표를 제시한다.
• Exemplar-based supervised pretraining이 전이를 개선하면서 ImageNet 분류 성능을 합리적으로 유지될 수 있음을 입증한다.
• 소수 샷 인식과 얼굴 랜드마크 예측으로 분석을 확장하여 일반성을 검증한다.

실험 결과

연구 질문

• RQ1 인스턴스-구별 사전학습의 어떤 측면이 탁월한 전이 성능을 가능하게 하는가?
• RQ2 고수준 의미 내용이 전시에 필수적이었는가, 아니면 저수준/중간 수준 표현이 지배적인가?
• RQ3 이미지 증강과 데이터 세트의 의미론이 대조적 학습과 감독 학습 모두의 전이에 어떤 영향을 미치는가?
• RQ4 intra-class invariances를 강제하지 않고 감독을 활용하여 전이를 개선할 수 있는가?
• RQ5 소수 샷 학습과 얼굴 랜드마크 예측과 같은 다른 전이 시나리오에서도 이러한 발견이 일반화되는가?

주요 결과

• 저수준/중간 수준 표현이 시각적 사전학습의 전이의 주요 원동력이다.
• 전통적인 감독 학습으로부터의 클래스 내 불변성은 다운스트림 태스크와 정렬되지 않아 전이를 해칠 수 있다.
• positive를 가깝게 유지하도록 강제하지 않는 Exemplar-based supervised pretraining은 전이를 개선하면서 경쟁력 있는 ImageNet 정확도를 유지한다.
• 대조적 사전학습은 두 태스크에서 감독 학습보다 집중적 이미지 증강의 혜택을 더 많이 받는다.
• 타깃 태스크와 의미론적으로 다른 데이터로 사전학습한 경우 대조적 전이는 일반적으로 해를 끼치지 않는 반면, 감독 전이는 태스크 의미론이 정렬되지 않으면 악화될 수 있다.
• 소수 샷 인식과 얼굴 랜드마크 예측에서 exemplar-based 감독은 전이 성능을 보존하고 표준 감독 기반 벤치마크를 능가할 수 있다.