[논문 리뷰] Multi-Task Self-Training for Learning General Representations

Golnaz Ghiasi, Barret Zoph외 3명|arXiv (Cornell University)|2021. 08. 25.

Advanced Neural Network Applications참고 문헌 63인용 수 5

한 줄 요약

이 논문은 공유된 비라벨 데이터셋에서 생성한 가짜 레이블을 사용하여 독립적으로 훈련된 전문가 교사 모델들로부터 지식을 흡수함으로써 단일 일반 모델 학생 모델에 지식을 전이하는 Multi-Task Self-Training (MuST)을 제안한다. MuST는 대규모 데이터로 훈련될 경우, 특화된 지도 학습 모델과 SimCLR와 같은 자기지도 학습 방법보다도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Despite the fast progress in training specialized models for various tasks, learning a single general model that works well for many tasks is still challenging for computer vision. Here we introduce multi-task self-training (MuST), which harnesses the knowledge in independent specialized teacher models (e.g., ImageNet model on classification) to train a single general student model. Our approach has three steps. First, we train specialized teachers independently on labeled datasets. We then use the specialized teachers to label an unlabeled dataset to create a multi-task pseudo labeled dataset. Finally, the dataset, which now contains pseudo labels from teacher models trained on different datasets/tasks, is then used to train a student model with multi-task learning. We evaluate the feature representations of the student model on 6 vision tasks including image recognition (classification, detection, segmentation)and 3D geometry estimation (depth and surface normal estimation). MuST is scalable with unlabeled or partially labeled datasets and outperforms both specialized supervised models and self-supervised models when training on large scale datasets. Lastly, we show MuST can improve upon already strong checkpoints trained with billions of examples. The results suggest self-training is a promising direction to aggregate labeled and unlabeled training data for learning general feature representations.

연구 동기 및 목표

• 다양한 작업에서 뛰어난 성능을 내는 단일 일반 목적의 시각 모델을 학습하는 데 도전한다.
• 컴퓨터 시각 분야에서 대규모 다중 작업 데이터셋의 데이터 부족과 레이블링 부담 문제를 해결한다.
• 전문가 교사 모델들로부터 유도된 가짜 레이블이 통합된 학생 모델로 지식을 효과적으로 전이할 수 있는지 탐색한다.
• 다중 작업 자기지도 학습이 지도 학습 또는 자기지도 학습 전훈보다 더 나은 일반 표현을 도출할 수 있는지 평가한다.

제안 방법

• 특정 작업(예: 분류를 위한 ImageNet, 검출을 위한 COCO, 깊이를 위한 MiDaS)에 대해 라벨된 데이터셋에서 독립적으로 전문가 교사 모델을 훈련한다.
• 훈련된 교사 모델들을 사용하여 대규모 공유 비라벨 데이터셋(예: ImageNet)에서 다중 작업 가짜 레이블을 생성한다.
• 공유된 ResNet-FPN 기반과 작업별 헤드를 사용하여 가짜 레이블이 부여된 데이터셋에서 엔드 투 엔드로 단일 일반 모델 학생 모델을 다중 작업 학습 기반으로 훈련한다.
• 학생 훈련 중에 데이터 증강 또는 레이블 스무딩 없이 스케일 저항성 기법과 표준 훈련 프로토콜을 적용한다.
• 성능을 최대화하기 위해 초모수를 그리드 서치로 최적화하여 학생 모델을 다운스트림 작업에 미세조정한다.
• 공통된 특징을 공유하는 간단한 모델 아키텍처를 사용하여 작업 간에 일반 표현을 효율적으로 학습한다.

Figure 1: An overview of Multi-Task Self-Training (MuST). Specialized Teacher represents a supervised model trained on a single task and dataset ( e.g . , classification model trained on ImageNet). Specialized Teacher models are trained independently on their own tasks and datasets. They then genera

실험 결과

연구 질문

• RQ1 여러 전문가 교사 모델들로부터 유도된 가짜 레이블을 활용하여 단일 학생 모델이 일반적인 시각 표현을 학습할 수 있는가?
• RQ2 다중 작업 자기지도 학습이 다운스트림 시각 작업에서 지도 학습 및 자기지도 학습 전훈보다 우수한가?
• RQ3 대규모 또는 부분적으로 라벨이 부여된 데이터셋에서 MuST는 일반화 성능 향상에 효과적으로 스케일링될 수 있는가?
• RQ4 직접적인 다중 작업 레이블링 없이도 다양한 교사 모델들로부터의 지식은 통합된 학생 모델로 이행 가능한가?

주요 결과

• MuST 학생 모델은 분류, 검출, 세그멘테이션, 깊이 추정, 표면 법선 예측을 포함한 6개의 시각 작업에서 전문가 교사 모델들과 동등하거나 그 이상의 성능을 달성한다.
• PASCAL VOC 세그멘테이션 벤치마크에서 MuST 학생 모델은 53.8 mIoU를 기록하여 지도 학습 기반선을 초월하고 전문가 세그멘테이션 교사 모델과 동일한 성능을 달성한다.
• NYU Depth v2에서 MuST 학생 모델은 1.25 배율 이내 정확도가 91.2%에 도달하여 SimCLR를 뛰어넘고 전문가 MiDaS 교사 모델과 동일한 성능을 보인다.
• DIODE 표면 법선 추정 작업에서 MuST 학생 모델은 각도 오차 < 11.25°일 때 87.4%의 정확도를 기록하여 SimCLR 및 지도 학습 기반선을 뛰어넘는다.
• 수십억 개의 예제로 훈련된 강력한 ImageNet 체크포인트를 초월하여 MuST 학생 모델은 대규모 데이터에서의 스케일링 및 효과성 잠재력을 입증한다.
• 학습 중에 전문가 교사 모델들로부터 유도된 가짜 레이블 데이터만을 사용함에도 불구하고 학생 모델은 전문가 교사 모델들의 대부분의 전이 성능를 유지한다. 이는 가짜 레이블 흡수의 효과성을 검증한다.

Figure 2: Examples of pseudo labels on ImageNet. Left: bounding boxes labeled with an Objects365 teacher model. Middle: semantic segmentation labeled with a COCO teacher model. Right: depth labeled with a MiDaS teacher model.