[논문 리뷰] Re-labeling ImageNet: from Single to Multi-Labels, from Global to Localized Labels

Sangdoo Yun, Seong Joon Oh외 4명|arXiv (Cornell University)|2021. 01. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 63인용 수 5

한 줄 요약

이 논문은 강력한 사전 훈련된 분류기와 함께 이미지넷 훈련 세트를 국소화된 다중 레이블 주석으로 재라벨링하는 ReLabel를 제안하며, 훈련 중에 이러한 풍부한 레이블을 활용하기 위해 LabelPooling을 도입한다. 이 방법은 ResNet-50의 ImageNet top-1 정확도를 78.9%로 향상시키고, CutMix를 사용할 경우 80.2%까지 상승시켜 전이 학습 및 다중 레이블 벤치마크 전반에 걸쳐 일관된 성능 향상을 이룬다.

ABSTRACT

ImageNet has been arguably the most popular image classification benchmark, but it is also the one with a significant level of label noise. Recent studies have shown that many samples contain multiple classes, despite being assumed to be a single-label benchmark. They have thus proposed to turn ImageNet evaluation into a multi-label task, with exhaustive multi-label annotations per image. However, they have not fixed the training set, presumably because of a formidable annotation cost. We argue that the mismatch between single-label annotations and effectively multi-label images is equally, if not more, problematic in the training setup, where random crops are applied. With the single-label annotations, a random crop of an image may contain an entirely different object from the ground truth, introducing noisy or even incorrect supervision during training. We thus re-label the ImageNet training set with multi-labels. We address the annotation cost barrier by letting a strong image classifier, trained on an extra source of data, generate the multi-labels. We utilize the pixel-wise multi-label predictions before the final pooling layer, in order to exploit the additional location-specific supervision signals. Training on the re-labeled samples results in improved model performances across the board. ResNet-50 attains the top-1 classification accuracy of 78.9% on ImageNet with our localized multi-labels, which can be further boosted to 80.2% with the CutMix regularization. We show that the models trained with localized multi-labels also outperforms the baselines on transfer learning to object detection and instance segmentation tasks, and various robustness benchmarks. The re-labeled ImageNet training set, pre-trained weights, and the source code are available at {https://github.com/naver-ai/relabel_imagenet}.

연구 동기 및 목표

• 랜덤 컷을 통한 훈련 중 노이즈가 많은 지도 학습을 유발하는, 많은 이미지넷 이미지에 다수의 객체가 존재하는 현실과 단일 레이블 주석 간의 불일치를 해결한다.
• 이미지넷 훈련 세트 전체에 대해 픽셀 수준의 다중 레이블 주석을 생성하는 데 드는 높은 주석 비용을 해결한다.
• 훈련 중 더 정확하고 위치 인식이 가능한 지도 신호를 제공함으로써 모델의 일반화 능력과 강건성을 향상시킨다.
• 더 깔끔하고 국소화된 다중 레이블 지도 신호가 이미지넷 분류를 넘어선 탐지, 세분화, 세분화 인식 작업 등 하류 작업 전반에서 성능 향상에 기여함을 입증한다.
• 반복적 디스틸레이션을 피하고 효율적인 풍부한 지도 학습을 가능하게 하는 확장 가능한 일회성 라벨링 파이프라인을 개발한다.

제안 방법

• 외부 데이터 소스(예: 대규모 약한 지도 학습 데이터)에서 강력한 이미지 분류기를 훈련시어 각 이미지넷 이미지에 대해 밀도 높은 픽셀 수준의 다중 레이블 예측을 생성한다.
• 전역 평균 풀링 이전의 모델의 최종 합성곱 특징을 사용하여, 공간적 위치별로 각 클래스에 대한 신뢰도를 나타내는 밀도 높은 레이블 맵 $ L ∈ \mathbb{R}^{H \times W \times C} $ 를 생성한다.
• LabelPooling을 도입하여 각 랜덤 컷에 대해 컷 영역에서의 레이블 스코어를 풀링하여 다중 레이블 정답을 계산하는 훈련 방식을 제공한다.
• LabelPooling을 표준 크로스 엔트로피 손실과 조합하여 국소화된 다중 레이블 지도 신호를 사용하는 엔드 투 엔드 훈련을 가능하게 한다.
• 재라벨링된 데이터와 LabelPooling을 단일 레이블 및 다중 레이블 벤치마크 모두에 적용하며, 이미지넷 및 COCO를 포함한다.
• 재라벨링된 이미지넷 데이터셋에서 성능을 추가로 향상시키기 위해 CutMix 정규화를 적용한다.

Figure 1: Re-labeling ImageNet training data. Original ImageNet annotation is a single label (“ox”), whereas the image contains multiple ImageNet categories (“ox”, “barn”, and “fence”). Random crops of an image may contain an entirely different object category from the global annotation. Our method

실험 결과

연구 질문

• RQ1 단일 레이블 주석을 국소화된 다중 레이블 주석으로 대체할 경우, 이미지넷에서 모델의 일반화 능력과 강건성이 향상되는가?
• RQ2 사전 훈련된 분류기를 사용해 밀도 높은 레이블 맵을 생성함으로써 주석 비용을 줄일 수 있으며, 높은 품질의 지도 학습을 유지할 수 있는가?
• RQ3 LabelPooling은 계산 비용이 과도하게 증가하지 않도록 하면서도, 무작위 컷 훈련 중에 밀도 높고 공간 인식이 가능한 레이블을 효과적으로 활용할 수 있는가?
• RQ4 ReLabel로 사전 훈련한 모델이 객체 탐지 및 인스턴스 세분화와 같은 하류 작업에서 전이 학습 성능을 얼마나 향상시키는가?
• RQ5 다중 레이블 벤치마크에서 ReLabel의 성능 향상은 표준 훈련 및 CutMix와 같은 다른 정규화 기법과 비교해 얼마나 뛰어난가?

주요 결과

• ReLabel는 ResNet-50의 ImageNet top-1 정확도를 기준선 단일 레이블 모델 대비 +1.4%p 향상시켜 78.9%로 개선한다.
• CutMix 정규화를 적용할 경우, ResNet-50의 top-1 정확도는 80.2%에 도달하여, 우리 지식상 최고의 성능을 기록한다.
• ReLabel된 이미지넷으로 사전 훈련한 모델은 다섯 개의 세분화 인식 벤치마크에서 일관된 성능 향상을 보이며, FGVC Aircraft에서 최대 +3.8%p의 성과 향상을 기록한다.
• COCO 객체 탐지에서 ReLabel 사전 훈련된 ResNet-50를 사용한 Faster-RCNN은 기준선 대비 +0.5 mAP 향상을 달성한다.
• COCO 인스턴스 세분화에서 ReLabel 사전 훈련된 ResNet-50를 사용한 Mask-RCNN은 +0.5 mAP 향상을 기록하여 향상된 특징 학습 능력을 보여준다.
• COCO 다중 레이블 분류 작업에서 오라클 레이블 맵을 사용한 ReLabel는 ResNet-101 기준 mAP를 +4.2 pp 향상시켜, 기존 다중 레이블 설정에서도 강력한 성능 향상을 입증한다.

Figure 2 : Cumulative distribution of Intersection-over-Union (IoU) between the random crops and ground-truth bounding boxes. We sample 100 random crops per image on the ImageNet validation set ( $50$ K images).