[논문 리뷰] Delving Deeper into Data Scaling in Masked Image Modeling

Cheng-Ze Lu, Xiaojie Jin외 4명|arXiv (Cornell University)|2023. 05. 24.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 웹에서 수집한 Coyo-700M 데이터셋을 사용하여 마스킹 이미지 모델링(MIM)에서의 데이터 스케일링을 조사한다. ViT 모델을 0.5M에서 100M 장의 이미지로 구성된 서브데이터셋에서 훈련시켰다. 연구 결과, MIM 성능은 10M 장 이상의 이미지에서 포화 상태에 도달하며, 강력한 타겟 인코더나 더 긴 사전 훈련 기간을 사용해도 대부분의 다운스트림 작업에서 성능 향상이 제한적임을 발견했다. 유일하게 성능 향상이 지속된 곳은 데이터 분포가 긴 꼬리형인 LVIS에서였다.

ABSTRACT

Understanding whether self-supervised learning methods can scale with unlimited data is crucial for training large-scale models. In this work, we conduct an empirical study on the scaling capability of masked image modeling (MIM) methods (e.g., MAE) for visual recognition. Unlike most previous works that depend on the widely-used ImageNet dataset, which is manually curated and object-centric, we take a step further and propose to investigate this problem in a more practical setting. Specifically, we utilize the web-collected Coyo-700M dataset. We randomly sample varying numbers of training images from the Coyo dataset and construct a series of sub-datasets, containing 0.5M, 1M, 5M, 10M, and 100M images, for pre-training. Our goal is to investigate how the performance changes on downstream tasks when scaling with different sizes of data and models. The study reveals that: 1) MIM can be viewed as an effective method to improve the model capacity when the scale of the training data is relatively small; 2) Strong reconstruction targets can endow the models with increased capacities on downstream tasks; 3) MIM pre-training is data-agnostic under most scenarios, which means that the strategy of sampling pre-training data is non-critical. We hope these observations could provide valuable insights for future research on MIM.

연구 동기 및 목표

• 이전에 정제된 데이터셋인 ImageNet과는 달리, 점점 더 큰 웹 수집 데이터셋에서 사전 훈련을 수행할 때 마스킹 이미지 모델링(MIM) 방법의 확장성에 대해 연구하기 위해.
• 특히 다운스트림 작업 성능 측면에서, MIM 사전 훈련이 무제한 데이터를 효과적으로 활용할 수 있는지 평가하기 위해.
• 재구성 타겟의 품질과 샘플링 전략이 MIM에서의 데이터 스케일링에 미치는 영향을 조사하기 위해.
• 다양한 다운스트림 작업, 특히 긴 꼬리형 벤치마크에서 더 큰 데이터셋으로의 확장이 성능 향상에 지속적으로 기여하는지 확인하기 위해.

제안 방법

• Coyo-700M 웹 크롤링 데이터셋에서 0.5M, 1M, 5M, 10M, 100M 장의 이미지를 포함한 서브데이터셋을 구축하여 체계적인 사전 훈련을 수행함.
• 표준 ViT 인코더를 사용한 MAE 프레임워크를 적용하고, 다양한 타겟 인코더(예: CLIP-B/16, CLIP-L/14, EVA-G/14)를 통해 재구성 타겟을 다양화함.
• 고정된 훈련 초모수를 사용해 이러한 서브데이터셋에서 모델을 사전 훈련하고, iNaturalist2018, ImageNet-5k, ImageNet-1k, LVIS와 같은 표준 다운스트림 작업에서 평가함.
• 다양한 타겟 인코더 크기와 사전 훈련 기간을 비교하여 재구성 품질과 훈련 기간의 영향을 분석함.
• 클래스 불균형 상황에서의 일반화 능력을 평가하기 위해 LVIS 벤치마크를 활용하여 긴 꼬리 분포에서의 데이터 스케일링 가능성을 테스트함.
• 다양한 웹 스케일 데이터 서브셋에서의 샘플링 전략에 대한 분석 실험을 수행하여, 데이터에 대한 무관성(agnosticism)이 유지됨을 확인함.

실험 결과

연구 질문

• RQ1 10M 장 이상의 이미지로 사전 훈련을 수행할 경우, 마스킹 이미지 모델링(MIM)의 다운스트림 성능이 계속 향상되는가?
• RQ2 더 큰 타겟 인코더를 사용해 재구성 타겟의 품질을 향상시키면, MIM 사전 훈련에서 데이터 스케일링에 어떤 영향을 미치는가?
• RQ3 웹 스케일 데이터셋을 사용할 경우, 데이터 샘플링 전략이 MIM 사전 훈련의 성능에 민감한가?
• RQ4 MIM에서의 데이터 스케일링이 LVIS와 같은 긴 꼬리형 다운스트림 벤치마크에서 측정 가능한 성능 향상으로 이어지는가?
• RQ5 더 긴 사전 훈련 스케줄이 더 큰 데이터셋에서 관찰된 성능 포화 현상을 깰 수 있는가?

주요 결과

• 표준 벤치마크인 ImageNet-1k 및 iNaturalist2018에서 MIM 사전 훈련 성능은 약 10M 장의 훈련 이미지 이상에서 포화 상태에 도달하며, 더 큰 데이터셋을 사용해도 유의미한 성능 향상이 없음.
• 더 강력한 타겟 인코더(예: ~10억 파라미터를 가진 EVA-G/14)를 사용하면 CLIP-L/14 대비 Top-1 정확도가 0.3% 향상되었지만, 여전히 스케일에 따른 성능 포화 현상은 해결되지 않음.
• 100M 장의 이미지로 15 에포크 동안 사전 훈련한 결과 ImageNet-1k에서 Top-1 정확도가 86.94%에 도달했고, 추가로 10 에포크 더 훈련해도 성능 향상이 없어 수렴 상태임을 시사함.
• 긴 꼬리형 LVIS 벤치마크에서는 더 많은 데이터로 인해 성능이 계속 향상됨: AP^box는 0.5M일 때 28.00에서 100M일 때 47.30으로 상승하여 희귀 카테고리 탐지에서 데이터 스케일링 가능성을 입증함.
• MIM 사전 훈련은 대부분의 데이터에 대해 무관함(data-agnostic)이며, 웹 스케일 데이터의 다양한 서브셋에서 다른 샘플링 전략이 다운스트림 성능에 크게 영향을 주지 않음.
• 광범위한 실험에도 불구하고, 강력한 타겟, 더 긴 훈련 기간, 더 나은 샘플링 전략 등의 방법론적 변화가 10M 장 이상에서 관찰된 성능 포화 현상을 깨지 못함.