[논문 리뷰] ImageNet-21K Pretraining for the Masses

Tal Ridnik, Emanuel Ben-Baruch외 2명|arXiv (Cornell University)|2021. 04. 22.

Multimodal Machine Learning Applications참고 문헌 57인용 수 4

한 줄 요약

이 논문은 ImageNet-21K에 대한 새로운 효율적이고 접근 가능한 미리 훈련 파이프라인을 제안하며, WordNet의 계층적 구조를 활용해 단일 레이블 주석을 의미적 다중 레이블로 변환한다. 의미적 소프트맥스라는 새로운 훈련 방식을 도입함으로써, 소형 모바일 아키텍처를 포함한 다양한 모델에서 ImageNet-1K 및 이전의 ImageNet-21K 미리 훈련 방법을 크게 능가한다. 공개적으로 이용 가능한 데이터만을 사용하여 ImageNet-1K 및 여러 후행 작업에서 최신 기술 수준(SoTA) 성능을 달성한다.

ABSTRACT

ImageNet-1K serves as the primary dataset for pretraining deep learning models for computer vision tasks. ImageNet-21K dataset, which is bigger and more diverse, is used less frequently for pretraining, mainly due to its complexity, low accessibility, and underestimation of its added value. This paper aims to close this gap, and make high-quality efficient pretraining on ImageNet-21K available for everyone. Via a dedicated preprocessing stage, utilization of WordNet hierarchical structure, and a novel training scheme called semantic softmax, we show that various models significantly benefit from ImageNet-21K pretraining on numerous datasets and tasks, including small mobile-oriented models. We also show that we outperform previous ImageNet-21K pretraining schemes for prominent new models like ViT and Mixer. Our proposed pretraining pipeline is efficient, accessible, and leads to SoTA reproducible results, from a publicly available dataset. The training code and pretrained models are available at: https://github.com/Alibaba-MIIL/ImageNet21K

연구 동기 및 목표

• ImageNet-1K에 비해 더 큰 규모와 다양성을 지닌 ImageNet-21K가 역사적으로 부족하게 활용되고 있음에도 불구하고 이를 해결하고자 한다.
• 비독립적인 레이블, 표준화된 분할 부족, 높은 계산 비용 등 ImageNet-21K에서의 미리 훈련 수행 시 발생하는 과제를 극복하고자 한다.
• 메서드적으로 타당하고 효율적이며 재현 가능한 미리 훈련 파이프라인을 개발하여 고품질의 ImageNet-21K 미리 훈련을 모든 연구자들이 접근 가능하게 하고자 한다.
• 작은 모바일 최적화 모델조차도 ImageNet-21K 미리 훈련에서 크게 수혜를 보임을 입증함으로써, 대규모 미리 훈련은 반드시 대규모 모델에서만 유의미하다는 가정을 도전하고자 한다.

제안 방법

• 이미지 해상도를 표준화하고, 훈련-검증 분할을 생성하며, 클래스 수준의 이미지 균형을 확보함으로써 ImageNet-21K를 전처리한다.
• WordNet의 싱세트 계층을 활용해 각 단일 레이블을 계층적 관계를 반영하는 의미적 다중 레이블 집합으로 변환한다.
• WordNet 계층의 여러 수준에서 별도의 소프트맥스 연산을 적용하고 계층 균형을 고려해 손실를 통합하는 방식으로, 새로운 훈련 방식인 의미적 소프트맥스를 설계한다.
• 의미적 소프트맥스를 전용 지식 정복 손실에 통합하여 특징 표현과 후행 작업 성능을 추가로 향상시킨다.
• ViT, ResNet, MobileNetV3, OFA-595 등 다양한 모델에 파이프라인을 적용하고, 다양한 후행 작업에서 성능을 평가한다.
• 공개 GitHub 저장소를 통해 훈련 코드와 미리 훈련된 모델을 배포함으로써 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 ImageNet-21K에 대해 표준화되고 효율적이며 접근 가능한 미리 훈련 파이프라인을 구축할 수 있는가? 이는 그 규모와 품질에도 불구하고 역사적으로 부족하게 활용되고 있음에도 불구하고.
• RQ2 의미적 계층을 활용한 ImageNet-21K에서의 다중 레이블 훈련은 단일 레이블 훈련에 비해 후행 작업 성능을 향상시키는가?
• RQ3 제안된 의미적 소프트맥스 방법은 ImageNet-21K 레이블의 계층적 구조를 효과적으로 활용하여 단일 레이블 및 다중 레이블 미리 훈련을 모두 능가하는가?
• RQ4 작은 모바일 최적화 모델은 ImageNet-21K 미리 훈련에서 수혜를 보이는가? 이는 대규모 데이터셋을 활용할 수 있는 것은 반드시 대규모 아키텍처에 국한된다는 개념을 도전한다.
• RQ5 비공개 데이터셋을 사용하지 않고도 ImageNet-21K 미리 훈련이 ImageNet-1K에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 의미적 소프트맥스 미리 훈련 방식은 MobileNetV3 및 OFA-595를 포함한 모든 테스트 모델에서 표준 ImageNet-1K 미리 훈련을 크게 능가하며, iNaturalist에서 2.9%p의 절대적 성능 향상을 달성한다.
• 의미적 소프트맥스를 사용한 ImageNet-21K 미리 훈련은 MobileNetV3를 사용해 ImageNet-1K에서 최신 기술 수준의 상위-1 정확도 78.0%를 달성했으며, 원래 보고된 75.2%를 초월한다.
• ResNet50의 경우, ImageNet-1K에서 상위-1 정확도 82.0%를 기록했으며, 이는 이전 연구에서 보고된 원래의 76.0% 대비 6.0%p 향상된 성능이다.
• 의미적 소프트맥스 접근 방식은 인덕티브 바이어스가 부족해 일반적으로 피지컬 튜닝이 어려운 MLP 기반 모델인 ViT 및 Mixer에서도 훈련 안정성과 성능을 향상시켰다.
• 작은 모델조차도 ImageNet-21K 미리 훈련에서 수혜를 보이며, 대규모 미리 훈련이 반드시 대규모 아키텍처에 국한되지 않는다는 점을 입증한다.
• 비공개 데이터셋을 사용하지 않고도 공개적으로 이용 가능한 데이터와 코드만을 사용하여 액션 인식 및 Pascal-VOC 등의 여러 후행 작업에서 최신 기술 수준 성능을 달성했다.