[논문 리뷰] A Large-scale Study of Representation Learning with the Visual Task Adaptation Benchmark

Xiaohua Zhai, Joan Puigcerver외 15명|arXiv (Cornell University)|2019. 10. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 70인용 수 160

한 줄 요약

이 논문은 VTAB를 도입하여 드문 레이블로 다양한 미지의 태스크로의 전이를 통해 일반 시각 표현을 평가하는 광범위한 벤치마크를 제시하고, 제어된 조건에서 지도학습, 자가지도학습, 반지도학습 및 생성 사전학습 방법의 대규모 비교를 수행합니다.

ABSTRACT

Representation learning promises to unlock deep learning for the long tail of vision tasks without expensive labelled datasets. Yet, the absence of a unified evaluation for general visual representations hinders progress. Popular protocols are often too constrained (linear classification), limited in diversity (ImageNet, CIFAR, Pascal-VOC), or only weakly related to representation quality (ELBO, reconstruction error). We present the Visual Task Adaptation Benchmark (VTAB), which defines good representations as those that adapt to diverse, unseen tasks with few examples. With VTAB, we conduct a large-scale study of many popular publicly-available representation learning algorithms. We carefully control confounders such as architecture and tuning budget. We address questions like: How effective are ImageNet representations beyond standard natural datasets? How do representations trained via generative and discriminative models compare? To what extent can self-supervision replace labels? And, how close are we to general visual representations?

연구 동기 및 목표

• 제한된 레이블로 다수의 보지 않은 비전 태스크에 표현이 얼마나 잘 전달되는지 측정하기 위한 Visual Task Adaptation Benchmark(VTAB)을 제안한다.
• 제어된 아키텍처, 데이터 및 튜닝 예산 하에서 서로 다른 업스트림 표현 학습 패러다임(지도, 자가지도, 반지도, 생성)이 어떻게 수행되는지 정량화한다.
• ImageNet 프리트레이닝이 자연 이미지 너머로 일반화될 수 있는지 평가하고, 표현 학습에서 자가지도와 생성 모델의 역할을 평가한다.
• 일반 시각 표현 구축을 위한 평가 프로토콜, 하이퍼파라미터 튜닝 체계 및 실용적 함의를 제시한다.

제안 방법

• VTAB 태스크 분포와 평가 프로토콜을 정의하여 제한된 레이블로 많은 미지의 태스크에서 학습하는 것을 근사한다.
• 공정한 비교를 위한 동일한 분류 인터페이스로 태스크를 변환하여 단일 전이 평가를 가능하게 한다.
• ImageNet에서 사전학습된 지도, 자가지도, 반지도 및 생성 모델 18개 사전학습 방법을 평가하고 전이 전략으로 미세조정을 사용한다.
• 아키텍처(ResNet-50 유사 백본), 프리트레이닝 데이터 및 다운스트림 하이퍼파라미터 검색 예산(경량 대 중량)과 같은 교란 요인을 제어한다.
• 선형 전이 대비 전체 미세조정을 분석하여 일반적인 전이 프로브의 상관관계와 신뢰도를 연구한다.
• 다양한 사전학습 신호가 자연 이미지, 특수화된 태스크 및 구조화된 태스크 전이에 미치는 영향을 실증적으로 파악한다.

실험 결과

연구 질문

• RQ1 ImageNet-지도 표현이 표준 자연 이미지를 넘어 다양한 미지의 비전 태스크로의 전이에 대해 얼마나 효과적인가?
• RQ2 자가지도 및 반지도 표현은 VTAB 태스크로의 전이에 있어 지도 표현과 어떻게 비교되는가?
• RQ3 생성 모델은 판별 모델에 비해 다운스트림 전이에 유용한 표현을 어느 정도 제공하는가?
• RQ4 미세조정과 선형 평가의 선택이 VTAB 태스크 전반에 걸친 표현 품질에 대한 결론에 어떤 영향을 미치는가?
• RQ5 일관된 일반 시각 표현 평가를 위해 필요한 실용적 고려사항(하이퍼파라미터, 예산, 태스크 다양성)은 무엇인가?

주요 결과

• 지도형 ImageNet 프리트레이닝은 자연 태스크에 대해 강한 표현을 제공하지만 구조화된 이해 태스크에는 제한적이다.
• 자가지도 표현은 일반적으로 무작위 초기화보다 우수하지만 전체적으로는 지도 표현보다 뒤처지며, 충분한 레이블이 주어지면 구조화된 태스크에서도 성능이 향상되고 때로는 감독 학습 성능에 근접할 수 있다.
• 감독 학습과 자가지도 학습의 결합은 강력한 결과를 낳으며, 자가지도는 많은 설정에서 레이블을 대체하거나 보완할 수 있다.
• 판별적 표현이 전이에 비해 생성적 표현보다 우수한 경향이 있지만, BigBiGAN은 적대적 학습 인코더 중 예외이다.
• GAN 기반 표현(특히 판별기로부터의)이 대부분의 VTAB 태스크에서 자가지도 및 지도 방법에 비해 성능이 떨어지며, 도메인 정렬(ImageNet과 유사한 데이터)이 성능에 영향을 준다.
• 선형 평가(동결된 특성) 는 미세조정과 비교해 전이 잠재력을 크게 과소평가하며, 태스크 그룹에 따라 신뢰성이 다르므로 선형 프로브가 표현 품질의 보편적 대리변수는 아니다.