[논문 리뷰] Revisiting the Transferability of Supervised Pretraining: an MLP Perspective

Yizhou Wang, Shixiang Tang외 5명|arXiv (Cornell University)|2021. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 4

한 줄 요약

이 논문은 분류기 이전에 다층퍼셉트론(MLP) 프로젝터를 도입하여 지도 학습 전훈을 향상시키는 방법을 제안한다. 이 간단한 추가 조치는 내부 클래스 변동성을 유지하고, 전훈 데이터셋과 평가 데이터셋 간의 특징 분포 거리를 줄이며, 특징의 중복성을 감소시켜 전이 가능성의 향상을 크게 이룬다. 이 방법은 개념 일반화 작업에서 +7.2%의 상위-1 정확도 향상을 기록하고, 12개 도메인의 선형 평가에서 +5.8%의 정확도 향상을 기록하며, COCO 객체 검출에서 +0.8%의 AP 향상을 기록하여 지도 학습 전훈이 비지도 학습 방법과 경쟁 가능하거나 슈퍼어리어어하는 성능을 달성한다.

ABSTRACT

The pretrain-finetune paradigm is a classical pipeline in visual learning. Recent progress on unsupervised pretraining methods shows superior transfer performance to their supervised counterparts. This paper revisits this phenomenon and sheds new light on understanding the transferability gap between unsupervised and supervised pretraining from a multilayer perceptron (MLP) perspective. While previous works focus on the effectiveness of MLP on unsupervised image classification where pretraining and evaluation are conducted on the same dataset, we reveal that the MLP projector is also the key factor to better transferability of unsupervised pretraining methods than supervised pretraining methods. Based on this observation, we attempt to close the transferability gap between supervised and unsupervised pretraining by adding an MLP projector before the classifier in supervised pretraining. Our analysis indicates that the MLP projector can help retain intra-class variation of visual features, decrease the feature distribution distance between pretraining and evaluation datasets, and reduce feature redundancy. Extensive experiments on public benchmarks demonstrate that the added MLP projector significantly boosts the transferability of supervised pretraining, e.g. +7.2% top-1 accuracy on the concept generalization task, +5.8% top-1 accuracy for linear evaluation on 12-domain classification tasks, and +0.8% AP on COCO object detection task, making supervised pretraining comparable or even better than unsupervised pretraining.

연구 동기 및 목표

• 지도 학습 전훈이 더 풍부한 의미적 레이블을 사용하고도 전이 학습에서 비지도 학습 전훈보다 성능이 떨어지는 이유를 탐구하기 위해.
• 지도 학습 전훈에서 전이 가능성의 제약을 초래하는 요소를 특정하고, 특히 전훈 데이터셋과 최종 작업 데이터셋 간의 의미적 격차가 클 경우에 해당 요소를 규명하기 위해.
• 표준 지도 학습 전훈에 MLP 프로젝터를 추가하면 비지도 학습 방법과의 성능 격차를 줄일 수 있는지 평가하기 위해.
• MLP 프로젝터가 전이 학습을 위한 특징 품질 향상에 기여하는 데 있어 경험적이고 이론적인 근거를 제공하기 위해.

제안 방법

• 표준 지도 학습 전훈(SL)에서 분류기 이전에 MLP 프로젝터를 도입하여 특징 표현의 전이성을 향상시키는 SL-MLP를 구성한다.
• MLP 프로젝터를 통해 전훈 중 시각적 특징의 내부 클래스 변동성을 유지하여 클래스별 패턴에 대한 과적합을 방지한다.
• MLP 프로젝터를 활용해 전훈 데이터셋과 평가 데이터셋의 특징 간 분포 거리를 줄여 도메인 일반화 성능을 향상시킨다.
• 백본과 분류기를 교차엔트로피 손실을 통해 함께 학습시키며, MLP 프로젝터는 분류 전 특징을 정교화하기 위해 엔드 투 엔드로 학습된다.
• MLP의 은닉 유닛 수와 출력 차원 수를 다양한 조합으로 설정하여 민감도와 안정성을 평가하기 위해 광범위한 아블레이션 연구를 수행한다.
• SL-MLP의 성능을 여러 벤치마크에서 평가한다: 개념 일반화, 12개 도메인의 선형 평가, COCO 객체 검출. 비지도 학습 방법(BYOL, SimCLR 등)과의 성능 비교를 포함한다.

실험 결과

연구 질문

• RQ1 비지도 학습 전훈이 지도 학습 전훈보다 전이 학습에서 일반화 성능이 뛰어나지 않는 이유는 무엇인가? 비록 더 풍부한 애너테이션을 사용하고도 말이다.
• RQ2 BYOL, SimCLR와 같은 비지도 학습 전훈 방법의 뛰어난 전이 가능성에 기여하는 MLP 프로젝터의 역할은 무엇인가?
• RQ3 표준 지도 학습 전훈에 MLP 프로젝터를 추가하면 비지도 학습 방법과의 성능 격차를 줄일 수 있는가?
• RQ4 MLP 프로젝터는 전훈 특징의 내부 클래스 변동성, 특징 분포 거리, 중복성에 어떤 영향을 미치는가?
• RQ5 MLP 프로젝터의 성능 향상 효과는 다양한 아키텍처, 데이터셋, 최종 작업에 걸쳐 안정적인가?

주요 결과

• 표준 SL 대비 SL-MLP는 개념 일반화 작업에서 상위-1 정확도를 +7.2% 향상시켰다.
• 12개 도메인의 선형 평가에서 SL-MLP는 SL 대비 평균 +5.8%의 정확도 향상을 기록했으며, 일부 설정에서는 BYOL을 초월하는 성능을 보였다.
• SL-MLP는 COCO 객체 검출 성능을 +0.8% AP 향상시켜 조밀한 예측 작업으로의 일반화 능력이 뛰어나다는 것을 입증했다.
• MLP 프로젝터는 특징의 내부 클래스 변동성을 유지하여 다양한 최종 작업에서 분류 가능한 특징의 구조를 유지하는 데 기여한다.
• 전훈 데이터셋과 평가 데이터셋 간의 특징 분포 거리는 MLP 프로젝터 덕분에 크게 감소했으며, 이는 도메인 일반화 능력을 향상시켰다.
• 은닉 유닛 수와 출력 차원 수와 같은 하이퍼파라미터 설정에 대해 성능 향상 효과가 안정적이었으며, 이는 프로젝터의 안정성과 실용성을 시사한다.