[논문 리뷰] Billion-scale semi-supervised learning for image classification

İsmet Zeki Yalnız, Hervé Jeǵou외 3명|arXiv (Cornell University)|2019. 05. 02.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 331

한 줄 요약

이 논문은 교사/학생 파이프라인을 사용하여 수십억 개의 무레이블 이미지에 대해 반 감독 학습을 확장하고 ResNet-50 및 ResNeXt 같은 대형 아키텍처에서 이미지 분류 정확도를 향상시켜 ImageNet 및 기타 작업에서 최첨단 성과를 달성한다.

ABSTRACT

This paper presents a study of semi-supervised learning with large convolutional networks. We propose a pipeline, based on a teacher/student paradigm, that leverages a large collection of unlabelled images (up to 1 billion). Our main goal is to improve the performance for a given target architecture, like ResNet-50 or ResNext. We provide an extensive analysis of the success factors of our approach, which leads us to formulate some recommendations to produce high-accuracy models for image classification with semi-supervised learning. As a result, our approach brings important gains to standard architectures for image, video and fine-grained classification. For instance, by leveraging one billion unlabelled images, our learned vanilla ResNet-50 achieves 81.2% top-1 accuracy on the ImageNet benchmark.

연구 동기 및 목표

• 웹 전체 규모에서 이미지 분류를 위한 반 감독 학습 동기 부여 및 평가.
• 수십억 개의 무레이블 이미지를 활용하기 위한 확장 가능한 교사/학생 파이프라인 개발.
• 성능에 영향을 주는 요인을 식별하고 고정밀 모델에 대한 실용적인 권고사항 제공.

제안 방법

• 라벨링된 데이터로 높은 용량의 교사 모델을 학습하여 거대한 무레이블 집합에서 예측을 생성.
• 각 클래스마다 교사 예측으로 무레이블 이미지를 순위 매겨 상위-K 예제를 선택해 새로운 라벨링 집합 hat{D}를 형성.
• hat{D}에서 학생 모델 학습, 테스트 시간 복잡도 감소를 위해 다른 아키텍처를 사용할 수 있음.
• 라벨링 노이즈를 수정하고 일반화를 개선하기 위해 원래 라벨 데이터로 학생 다듬기.
• 선택적으로 ranking 전에 대규모 약지도 데이터에서 약한 감독으로 교사를 사전 학습.

실험 결과

연구 질문

• RQ1 대형 CNN 아키텍처에서 수십억 개의 무레이블 이미지를 확장할 때 교사/학생 반 감독 파이프라인의 성능은 어떠한가?
• RQ2 정확도 이득을 극대화하는 핵심 요인(교사 강도, 무레이블 데이터 규모, 샘플링 매개변수 K 및 P)은 무엇인가?
• RQ3 정형 아키텍처에서 ImageNet 및 기타 벤치마크에 대해 무레이블 데이터로 반 감독 학습이 완전 지도 학습 대비 이점을 제공할 수 있는가?
• RQ4 무레이블 데이터에서 추정된 라벨을 활용한 후 실제 라벨로의 미세조정의 역할은 무엇인가?
• RQ5 교사를 IG-1B-Targeted에서 약한 감독으로 사전 학습하는 것이 결과를 더 개선하는가?

주요 결과

• 라벨링 데이터로 학습된 교사가 클래스별 상위-K 무레이블 예제를 선택하는 것이 고정 아키텍처에 대해 강한 이득을 제공한다.
• hat{D}에서 학습한 후 실제 라벨 데이터로 학생을 미세 조정하는 것이 높은 정확도 달성에 결정적이다.
• 더 큰 무레이블 데이터셋과 더 긴 사전 학습이 성능을 향상시키며, 일부 모델에서 포화 이후 수익이 감소하는 경향이 있다.
• 교사 용량을 어느 정도까지 늘리면 학생 정확도가 상승하나, 그 이상은 ImageNet의 규모 한계로 이득이 정체된다.
• 셀프-트레이닝(교사와 학생 동일)도 개선을 제공하지만, 주어진 대상 아키텍처에 대해 일반적으로 교사/학생 구성의 성능이 더 좋다.
• 라벨링 데이터를 ranking하기 전에 IG-1B-Targeted에서 약한 감독으로 교사를 사전 학습하면 ImageNet 결과가 더 향상되어 여러 아키텍처에서 최첨단을 달성한다.