[논문 리뷰] Data Filtering Networks
논문은 대형 이미지–텍스트 데이터세트를 큐레이션하기 위한 데이터 필터링 네트워크(DFN)를 학습한다; DFN-2B/DFN-5B는 고품질 데이터를 유도하여 ViT-H/14를 포함한 다양한 컴퓨트 예산에서 최첨단 CLIP 모델을 가능하게 하며, 84.4% ImageNet 제로샷 정확도를 달성한다.
Large training sets have become a cornerstone of machine learning and are the foundation for recent advances in language modeling and multimodal learning. While data curation for pre-training is often still ad-hoc, one common paradigm is to first collect a massive pool of data from the Web and then filter this candidate pool down to an actual training set via various heuristics. In this work, we study the problem of learning a data filtering network (DFN) for this second step of filtering a large uncurated dataset. Our key finding is that the quality of a network for filtering is distinct from its performance on downstream tasks: for instance, a model that performs well on ImageNet can yield worse training sets than a model with low ImageNet accuracy that is trained on a small amount of high-quality data. Based on our insights, we construct new data filtering networks that induce state-of-the-art image-text datasets. Specifically, our best performing dataset DFN-5B enables us to train state-of-the-art CLIP models for their compute budgets: among other improvements on a variety of tasks, a ViT-H trained on our dataset achieves 84.4% zero-shot transfer accuracy on ImageNet, out-performing models trained on other datasets such as LAION-2B, DataComp-1B, or OpenAI's WIT. In order to facilitate further research in dataset design, we also release a new 2 billion example dataset DFN-2B and show that high performance data filtering networks can be trained from scratch using only publicly available data.
연구 동기 및 목표
- 대규모 데이터세트 구성의 필터링 단계에 초점을 맞춰 데이터 중심의 개선을 추진한다.
- 고품질 학습 데이터셋을 산출하는 DFN의 특징을 특성화한다.
- DFN을 공개적으로 이용 가능한 데이터에서 처음부터 학습시켜 CLIP 훈련에 우수한 데이터세트를 유도함을 입증한다.
- DFN이 유도한 데이터세트가 정확도와 컴퓨트 간의 더 나은 트레이드오프를 달성하는지 보여준다.
- 데이터세트 설계 연구를 촉진하기 위해 공개 재현 가능한 DFN 파이프라인과 데이터세트를 제공한다.
제안 방법
- DFN을 대형 후보 풀의 요소에 적용되는 포인트와이즈 필터로 정의한다.
- 다양한 풀 크기(중간, 큰, xlarge)에서 DataComp 벤치마크를 사용해 DFN을 평가하고 해당 CLIP 모델 하이퍼파라미터를 적용한다.
- 주요 DFN 백본으로 CLIP 기반 필터링을 사용하고, 필터링 접근법의 강건성을 평가하기 위해 이진 분류기, M3AE 등 대체 필터와 비교한다.
- 고품질 데이터로 DFN을 학습시키고 이를 대규모 비정제 풀에 적용해 훈련 데이터세트를 유도한다.
- 일반 ML 기법(데이터 증강, 초기화, 학습 단계)을 이용해 DFN을 미세조정하고 앙상블하여 데이터세트 품질을 향상시킨다.
- DataComp의 38개 제로샷 및 검색 태스크에서 유도 모델을 평가하고 ImageNet(IN), IN 시프트, VTAB, 검색, 평균 지표를 보고한다.

실험 결과
연구 질문
- RQ1데이터 필터링 네트워크의 어떤 특성이 CLIP-스타일 모델용 고품질 유도 데이터세트를 만들게 하는가?
- RQ2필터링 모델의 더 높은 ImageNet 성능이 더 나은 데이터 필터링 품질과 다운스트림 데이터세튜 활용도와 예측적인가?
- RQ3DFN은 공개적으로 이용 가능한 데이터에서 처음부터 학습시켜 독점 필터에 의존하지 않고 최첨단 데이터세트를 유도할 수 있는가?
- RQ4DFN-유도 데이터세트는 기존 데이터세트와 비교해 ImageNet, 분포 시프트, VTAB, 검색 태스크에서 어떤 성능을 보이나?
- RQ5DFN 유도 데이터세트의 품질을 가장 효과적으로 향상시키는 훈련 규칙(증강, 초기화, 학습 단계)은 무엇인가?
주요 결과
- 고품질 데이터로 학습된 소형 대조 이미지–텍스트 모델이 최첨단 데이터세트를 구성하는 데 충분하다.
- 필터링 강도가 이미지 태스크 성능과 상관관계가 없으며, 필터링 모델의 더 높은 ImageNet 정확도가 더 나은 필터링 결과를 보장하지 않는다.
- HQITP와 같은 고품질 데이터로 DFN 학습을 수행하면 IN, IN 시프트, VTAB, 검색에서 우수한 유도 데이터세트를 얻을 수 있다.
- DFN-유도 데이터세트(DFN-2B/DFN-5B)는 DataComp 규모에서 최첨단 결과를 달성하며 LAION-2B, DC-1B, OpenAI WIT 및 유사한 베이스라인을 능가한다.
- DFN-2B로 학습된 ViT-L/14는 제로샷 ImageNet 정확도 81.4%를, DFN-5B로 학습된 ViT-H/14는 제로샷 ImageNet 정확도 84.4%를 달성하며, 두 모델 모두 해당 컴퓨트 예산에서 경쟁 데이터세트를 능가한다.
- DFN에 의해 유도된 데이터세트는 벤치마크에서 비전 태스크 및 VQA(BLIP2) 강건성과 성능을 개선한다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.