[논문 리뷰] On the Connection between Pre-training Data Diversity and Fine-tuning Robustness

Vivek Ramanujan, Thao D. Nguyen외 3명|arXiv (Cornell University)|2023. 07. 24.

Machine Learning and Data ClassificationComputer Science인용 수 3

한 줄 요약

이 논문은 사전 훈련 데이터의 다양성이 미세조정의 강건성에 어떻게 영향을 미치는지 조사하며, 데이터 양과 레이블의 세분성 수준이 분포 이탈에 대한 강건한 일반화의 주요 원인임을 발견한다. iWildCam-WILDS를 벤치마크로 사용하여, 사전 훈련 데이터 크기를 늘일수록 강건성이 크게 향상되며, 데이터 양이 일정할 경우 레이블 의미, 이미지 다양성, 데이터 소스의 영향은 미미함을 보여준다.

ABSTRACT

Pre-training has been widely adopted in deep learning to improve model performance, especially when the training data for a target task is limited. In our work, we seek to understand the implications of this training strategy on the generalization properties of downstream models. More specifically, we ask the following question: how do properties of the pre-training distribution affect the robustness of a fine-tuned model? The properties we explore include the label space, label semantics, image diversity, data domains, and data quantity of the pre-training distribution. We find that the primary factor influencing downstream effective robustness (Taori et al., 2020) is data quantity, while other factors have limited significance. For example, reducing the number of ImageNet pre-training classes by 4x while increasing the number of images per class by 4x (that is, keeping total data quantity fixed) does not impact the robustness of fine-tuned models. We demonstrate our findings on pre-training distributions drawn from various natural and synthetic data sources, primarily using the iWildCam-WILDS distribution shift as a test for downstream robustness.

연구 동기 및 목표

• 사전 훈련 데이터의 특성이 자연적인 분포 이탈 상황에서 최종 모델의 강건성에 어떻게 영향을 미치는지 이해하기.
• 데이터 양, 레이블의 세분성 수준, 레이블 의미, 이미지 다양성, 데이터 소스가 미세조정된 모델 성능에 미치는 영향을 분리하여 분석하기.
• 사전 훈련 데이터의 양을 통제할 때 합성 데이터 또는 자연 데이터 소스가 동일한 강건성 향상을 가져오는지 평가하기.
• 강건성 일반화가 데이터 분포 특성보다 모델 아키텍처와 훈련 방법에 더 크게 영향을 받는지 판단하기.
• 실세계의 분포 이탈에 대한 강건성을 향상시키기 위해 효과적인 사전 훈련 데이터셋을 구성하는 데 중심적인 지침을 제공하기.

제안 방법

• ImageNet, iNaturalist, 그리고 합성 데이터(예: 프랙탈 이미지, Stable Diffusion로 생성된 이미지)의 제어된 서브셋에서 비전 모델을 사전 훈련하며, 한 가지 특성만 변화시키고 나머지는 일정하게 유지한다.
• 모든 모델을 iWildCam-WILDS 데이터셋에 대해 미세조정하며, 자연적인 분포 이탈을 위한 벤치마크로 활용하고, 외부 분포(OOD) 분할에서 F1 점수를 사용해 강건성을 평가한다.
• 다섯 가지 축을 체계적으로 분석한다: 데이터 양, 레이블의 세분성 수준(粗체계 vs. 細체계), 레이블 의미(동물 vs. 비생물 클래스), 이미지 다양성(클래스 내 하위클래스 변동성), 데이터 소스(ImageNet, iNaturalist, 합성 데이터).
• YFCC-15M 및 LAION-15M에서 사전 훈련된 자기지도 학습 CLIP 모델을 사용해, 다양한 사전 훈련 목표와 데이터 스케일에서 결과의 일반화를 검증한다.
• 결과를 랜덤 초기화에서 훈련한 모델과 ImageNet 사전 훈련 모델과 비교하여, 데이터 양에 따른 강건성의 선형 추세를 기준선으로 설정한다.
• 다양한 모델 아키텍처와 사전 훈련 방법을 기반으로 결과를 분석하여 발견의 일반화 가능성 평가

Figure 1 : A summary of our experimental pipeline. We pre-train a model on a variety of different data distributions and evaluate its effective robustness after fine-tuning on a downstream task (i.e., iWildCam). By examining many models in this manner, we can determine empirical properties of the pr

실험 결과

연구 질문

• RQ1 사전 훈련 데이터의 양이 분포 이탈이 발생하는 최종 작업에서 미세조정된 모델의 강건성에 어떻게 영향을 미치는가?
• RQ2 데이터 양과 무관하게, 레이블의 세분성 수준(粗체계 vs. 細체계)이 최종 강건성에 어느 정도 영향을 미치는가?
• RQ3 사전 훈련 클래스의 의미적 유사성(예: 동물 vs. 비생물 물체)이 최종 작업으로의 전이 강건성에 영향을 미치는가?
• RQ4 클래스당 이미지 다양성(예: 더 많은 하위클래스 포함)을 늘일 경우, 미세조정된 모델의 강건성에 어떤 영향을 미치는가?
• RQ5 사전 훈련 데이터의 양을 통제할 때, 합성 데이터 소스(Fractal 또는 Stable Diffusion로 생성된 이미지)가 자연 데이터와 동등한 강건성 향상을 달성할 수 있는가?

주요 결과

• 더 많은 데이터로 사전 훈련할수록 최종 작업에서의 강건성이 크게 향상되며, ImageNet 또는 iNaturalist에서 25,000장의 이미지(미세조정 데이터셋보다 6배 작음)로 사전 훈련해도 강건성 향상 효과가 뚜렷하다.
• 레이블의 세분성 수준을 1,000개에서 5개로 줄일 경우 강건성에 명백한 부정적 영향을 미치지만, 데이터 양을 줄일 경우의 영향보다 덜 심각하다.
• ImageNet에서 600개의 비생물 물체 카테고리로 사전 훈련한 결과는 400개의 동물 카테고리로 사전 훈련한 결과와 동일한 효과적인 강건성을 보이며, 최종 작업이 동물 중심임을 감안할 때 놀라운 결과이다.
• 데이터 양과 레이블 세트가 고정되어 있을 경우, 클래스당 이미지 다양성(예: 더 많은 하위클래스 포함)을 늘려도 미세조정된 모델의 강건성에 유의미한 영향을 미치지 않는다.
• 총 데이터 양이 일정할 경우, 더 많은 클래스 수와 더 많은 이미지 수를 가진 클래스 간의 트레이드오프는 무시할 만큼 미미하며, 이는 데이터 양이 클래스 다양성보다 더 우세하다는 것을 시사한다.
• 합성 프랙탈 데이터는 동일한 데이터 양에서 자연 데이터보다 효과가 떨어지지만, Stable Diffusion로 생성된 이미지는 격차를 크게 줄이며, 데이터 양이 많을 경우 자연 데이터와 유사한 성능을 보인다.

Figure 2 : Effective robustness is defined as movement towards a classifier which is robust to distribution shift (i.e., line $y=x$ ). Using this metric, Miller et al. [ 26 ] observes that for the iWildCam-WILDS task, models pre-trained on ImageNet are much more robust than models trained from scrat