[논문 리뷰] Bi-tuning of Pre-trained Representations

Jincheng Zhong, Ximei Wang외 3명|arXiv (Cornell University)|2020. 11. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 13

한 줄 요약

이 논문은 비지도 학습 및 지도 학습 전훈 모델을 동시에 향상시키기 위해 이중 헤드를 공동 최적화하는 새로운 피취너팅 프레임워크인 Bi-tuning을 제안한다. 이는 레이블의 구분 능력을 향상시키기 위해 대비적 교차 엔트로피 손실을 사용하는 분류 헤드와 데이터의 내재된 구조를 활용하기 위해 범주형 대비 학습 손실을 사용하는 프로젝터 헤드를 포함한다. 이 방법은 저자료 환경에서도 최신 기술 수준의 성능을 달성하였으며, CUB-200-2011에서 25%의 훈련 데이터에서 10.7%p의 절대 정확도 향상을 기록하였다.

ABSTRACT

It is common within the deep learning community to first pre-train a deep neural network from a large-scale dataset and then fine-tune the pre-trained model to a specific downstream task. Recently, both supervised and unsupervised pre-training approaches to learning representations have achieved remarkable advances, which exploit the discriminative knowledge of labels and the intrinsic structure of data, respectively. It follows natural intuition that both discriminative knowledge and intrinsic structure of the downstream task can be useful for fine-tuning, however, existing fine-tuning methods mainly leverage the former and discard the latter. A question arises: How to fully explore the intrinsic structure of data for boosting fine-tuning? In this paper, we propose Bi-tuning, a general learning framework to fine-tuning both supervised and unsupervised pre-trained representations to downstream tasks. Bi-tuning generalizes the vanilla fine-tuning by integrating two heads upon the backbone of pre-trained representations: a classifier head with an improved contrastive cross-entropy loss to better leverage the label information in an instance-contrast way, and a projector head with a newly-designed categorical contrastive learning loss to fully exploit the intrinsic structure of data in a category-consistent way. Comprehensive experiments confirm that Bi-tuning achieves state-of-the-art results for fine-tuning tasks of both supervised and unsupervised pre-trained models by large margins (e.g. 10.7\% absolute rise in accuracy on CUB in low-data regime).

연구 동기 및 목표

• 기존의 피취너팅 방법이 주로 레이블 정보만을 활용하면서도 하류 데이터의 내재된 구조를 무시하는 한계를 해결하기 위해.
• 지도 학습 및 비지도 학습 전훈 모델에 모두 적용 가능한 일반화 가능한 피취너팅 프레임워크를 개발하기 위해.
• 분류 레이블 지식과 데이터 수준의 구조적 패턴을 동시에 활용하여 저자료 환경에서 모델의 일반화 능력과 강인성을 향상시키기 위해.
• 피취너팅 중에 지도 학습과 자기지도 학습 신호를 통합하면 성능 향상이 이루어짐을 입증하기 위해.

제안 방법

• 분류 헤드(레이블 예측용)와 불변 표현을 학습하는 프로젝터 헤드를 갖는 이중 헤드 아키텍처를 도입한다.
• 개체 수준에서 양성 및 음성 샘플을 대비시켜 내부 클래스의 응집도를 향상시키는 대비적 교차 엔트로피(CCE) 손실을 적용한다.
• 표현 공간에서 범주 일관성 있는 클러스터링을 유도하는 범주형 대비 학습(CCL) 손실을 제안하여 데이터의 내재된 구조를 활용한다.
• 교차 엔트로피, CCE, CCL 손실의 조합을 사용하여 전체 모델을 엔드 투 엔드로 훈련함으로써 레이블의 구분 능력과 구조 일관성을 동시에 최적화한다.
• 아키텍처 수정 없이 ResNet, MoCo, SimCLR, InsDisc 등의 다양한 백본과 전훈 방법에 이 프레임워크를 적용한다.
• MoCo 스타일의 접근 방식과 일관되게, 대비 학습 설정에서 키 인코더를 모멘타무 업데이트하여 훈련을 안정화시킨다.

실험 결과

연구 질문

• RQ1 피취너팅 중에 레이블의 구분 능력과 데이터의 구조를 동시에 최적화하면 하류 작업 성능 향상이 이루어지는가?
• RQ2 표준 교차 엔트로피 손실에 대비 학습을 통합하면, 특히 저자료 환경에서 피취너팅 성능에 어떤 영향을 미치는가?
• RQ3 제안된 이중 헤드 아키텍처와 CCE, CCL 손실은 비지도 전훈 방법을 포함한 다양한 전훈 방법에 일반화되는가?
• RQ4 피취너팅 과정에서 레이블 기반 신호와 구조 기반 신호의 상대적 기여도는 어떠한가?

주요 결과

• 비지도 MoCo-v1 표현을 피취너팅할 때, CUB-200-2011 데이터셋에서 25%의 훈련 데이터 환경에서 Bi-tuning은 10.7%p의 절대 정확도 향상을 기록하였다.
• CUB-200-2011에서 100% 데이터를 사용할 경우, Bi-tuning은 MoCo로 사전 훈련한 ResNet-50 백본을 사용해 77.12%의 top-1 정확도를 달성하였으며, 표준 피취너팅을 능가하였다.
• 제거 실험 결과, CCE와 CCL 손실 모두 독립적으로 기여하며 상호 보완적으로 작용함을 확인하였으며, 전체 조합이 가장 뛰어난 성능을 보였다.
• 이 방법은 전훈 방법에 관계없이 일반화 가능하다: CARS100 데이터셋에 적용했을 때 MoCo, SimCLR, InsDisc, Deep Cluster, CMC 등에서 성능 향상을 기록하였다.
• 시각화 결과, Bi-tuned 표현은 비지도 사전 훈련 모델이 국소 패턴에만 집중하는 것과 달리, 국소 세부 정보와 글로벌 범주 수준의 구조를 모두 포착하고 있음을 보여주었다.
• 민감도 분석 결과, 키 풀 크기와 샘플링의 확률적 성격 사이에 상충 관계가 존재하며, 중간 수준의 키 풀 크기에서 최적의 성능이 달성됨을 확인하였다.