[논문 리뷰] Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning

Yihua Zhang, Yimeng Zhang외 7명|arXiv (Cornell University)|2023. 10. 13.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 전이 학습을 위한 두 가지 새로운 데이터셋 프루닝 방법—라벨 매핑(LM)과 특징 매핑(FM)—을 제안하며, 성능 저하 없이 소스 데이터셋을 최대 80%까지 프루닝할 수 있다. 소스-타겟 도메인 정렬을 활용함으로써, 전처리 속도를 2–5배 빠르게 하면서 다양한 작업과 모델에서 다운스트림 정확도를 유지한다.

ABSTRACT

Massive data is often considered essential for deep learning applications, but it also incurs significant computational and infrastructural costs. Therefore, dataset pruning (DP) has emerged as an effective way to improve data efficiency by identifying and removing redundant training samples without sacrificing performance. In this work, we aim to address the problem of DP for transfer learning, i.e., how to prune a source dataset for improved pretraining efficiency and lossless finetuning accuracy on downstream target tasks. To our best knowledge, the problem of DP for transfer learning remains open, as previous studies have primarily addressed DP and transfer learning as separate problems. By contrast, we establish a unified viewpoint to integrate DP with transfer learning and find that existing DP methods are not suitable for the transfer learning paradigm. We then propose two new DP methods, label mapping and feature mapping, for supervised and self-supervised pretraining settings respectively, by revisiting the DP problem through the lens of source-target domain mapping. Furthermore, we demonstrate the effectiveness of our approach on numerous transfer learning tasks. We show that source data classes can be pruned by up to 40% ~ 80% without sacrificing downstream performance, resulting in a significant 2 ~ 5 times speed-up during the pretraining stage. Besides, our proposal exhibits broad applicability and can improve other computationally intensive transfer learning techniques, such as adversarial pretraining. Codes are available at https://github.com/OPTML-Group/DP4TL.

연구 동기 및 목표

• 기존의 도메인 내 프루닝 방법이 간접적인 소스-타겟 영향으로 인해 실패하는 전이 학습 분야의 데이터셋 프루닝 격차를 해소하기 위해.
• 감독 및 자기지도 학습 전처리를 포함한 전이 학습에 특화된 효율적이고 저비용의 프루닝 기법을 개발하기 위해.
• 다운스트림 피니팅 정확도를 유지하거나 향상시키면서도 상당한 전처리 속도 향상을 달성하기 위해.
• 소스-타겟 도메인 매핑을 통해 데이터셋 프루닝과 전이 학습을 통합하는 프레임워크를 구축하기 위해.
• 적대적 전처리를 포함한 다양한 아키텍처, 데이터셋, 전처리 방식에 걸쳐 광범위한 적용 가능성을 입증하기 위해.

제안 방법

• 라벨 매핑(LM)은 소스 클래스를 타겟 클래스와의 의미적 및 특징 수준의 정렬을 기반으로 선택하며, 소형 서rogate 모델을 사용한다.
• 특징 매핑(FM)은 소스 및 타겟 도메인 간의 특징 표현을 매칭시켜 자기지도 학습 전처리로도 접근 가능하도록 확장한다.
• 모든 모델 재학습을 피하기 위해, 소형이고 빠른 서rogate 모델(예: ResNet-18)을 사용해 소스 클래스의 다운스트림 성능에 대한 영향을 추정한다.
• 프루닝 과정은 소스 클래스의 타겟 작업에 대한 관련성을 기반으로 순위를 매기는 점수 함수에 의해 이끌어지며, 계산 비용을 최소화한다.
• 프레임워크는 최종 백본 모델에 대해 무관하므로, 다양한 아키텍처와 전처리 목표로의 재사용이 가능하다.
• 손실 경계면의 평탄함은 ε-예리도 및 헤시안 노름과 같은 지표를 사용해 분석되어, 프루닝된 데이터에서 향상된 일반화 성능을 검증한다.

Figure 1 : Left : An illustration of the proposed dataset pruning methods (LM and FM) and their performance overview. Large scale source dataset is pruned by LM and FM through a small surrogate model (ResNet-18). Large foundation models can achieve up to $5\times$ speed-up on pretraining without no

실험 결과

연구 질문

• RQ1 소스 도메인과 타겟 도메인이 다른 전이 학습 환경에서 데이터셋 프루닝을 효과적으로 확장할 수 있는가?
• RQ2 기존의 도메인 내 데이터셋 프루닝 방법이 왜 전이 학습 환경에서는 실패하는가?
• RQ3 전이 학습을 위해 유해하거나 중복된 소스 데이터 클래스를 식별하고 제거할 수 있는 저복잡도, 확장 가능한 방법을 설계할 수 있는가?
• RQ4 다양한 작업과 모델에서 다운스트림 성능 저하 없이 소스 데이터를 어느 정도까지 프루닝할 수 있는가?
• RQ5 소스-타겟 도메인 정렬에 기반한 프루닝이 다운스트림 작업에서 손실 경계면의 일반화성과 평탄함에 어떤 영향을 미치는가?

주요 결과

• 제안된 라벨 매핑(LM) 및 특징 매핑(FM) 방법은 OxfordPets 및 StanfordCars와 같은 다운스트림 작업에서 ImageNet의 최대 80%를 프루닝해도 성능 저하 없이 성능을 유지한다.
• ResNet-101와 같은 대규모 모델에서 2–5배의 전처리 속도 향상이 달성되었으며, 다양한 벤치마크에서 다운스트림 정확도에 손실가지 않았다.
• 40% 프루닝 비율에서 LM는 대부분의 전이 학습 작업, 특히 희소 학습 설정에서도 승자 서브셋을 성공적으로 식별한다.
• 프루닝된 소스 데이터셋은 ε-예리도, 헤시안 노름, 피셔-레이어 노름을 통해 측정된 바에 따라 다운스트림 작업에서 더 평탄한 손실 경계면을 유도하며, 일반화 성능 향상을 시사한다.
• t-SNE를 통한 특징 시각화 결과, 유지된 소스 클래스는 타겟 클래스와 의미적으로나 공간적으로 더 가까이 위치한 반면, 프루닝된 클래스는 산산이 산산이 흩어져 있고 거리가 먼 것으로 확인되었다.
• 이 방법은 잘 일반화된다: 다양한 서rogate 모델(예: VGG, ResNet-32s)을 사용하더라도, 80% 프루닝에서 기본 ResNet-18 기준과 최대 97.7%의 높은 겹침을 보였다.

Figure 3 : Preliminary studies on the usage of surrogate models for LM . ( a ) The downstream performance (on Flowers102) of using the source model ResNet-101 trained on the pruned ImageNet delivered by LM at different pruning ratios. Here LM is conducted using either RN-101 or a smaller surrogate m