[논문 리뷰] Dataset Pruning: Reducing Training Data by Examining Generalization Influence

Shuo Yang, Zeke Xie외 4명|arXiv (Cornell University)|2022. 05. 19.

Machine Learning and Data Classification인용 수 21

한 줄 요약

최적화 기반 데이터셋 가지치기 방법을 제안하여 일반화 오차가 미리 정의된 경계 내에 머물도록 제거 가능한 학습 데이터의 가장 큰 부분집합을 선택하고, 학습 효율성을 개선합니다.

ABSTRACT

The great success of deep learning heavily relies on increasingly larger training data, which comes at a price of huge computational and infrastructural costs. This poses crucial questions that, do all training data contribute to model's performance? How much does each individual training sample or a sub-training-set affect the model's generalization, and how to construct the smallest subset from the entire training data as a proxy training set without significantly sacrificing the model's performance? To answer these, we propose dataset pruning, an optimization-based sample selection method that can (1) examine the influence of removing a particular set of training samples on model's generalization ability with theoretical guarantee, and (2) construct the smallest subset of training data that yields strictly constrained generalization gap. The empirically observed generalization gap of dataset pruning is substantially consistent with our theoretical expectations. Furthermore, the proposed method prunes 40% training examples on the CIFAR-10 dataset, halves the convergence time with only 1.3% test accuracy decrease, which is superior to previous score-based sample selection methods.

연구 동기 및 목표

• 데이터셋 가지치기 문제를 일반화 경계가 보장되도록 학습 데이터 축소로 정의하고 동기를 부여한다.
• 데이터 포인트 제거로 인한 매개변수 변화를 근사하기 위해 영향 함수(influence functions)를 활용한다.
• 매개변수 변화의 제약 하에 가지치기된 데이터를 최대화하기 위한 이산 최적화를 형성하고 해결한다.
• 이론적 일반화 보장과 다양한 데이터셋 및 아키텍처에 대한 실증 검증을 제공한다.

제안 방법

• 풀 모델과 가지치기된 모델 간의 매개변수 변화 노름을 기반으로 epsilon-중복 부분집합을 정의한다.
• Influence Functions 및 해시안 역행렬(Hessian inverse)을 사용해 샘플당 매개변수 영향(I_param(z))을 추정한다: I_param(z) = -H_theta^{-1} grad_theta L(z, theta).
• 영향을 모아 부분집합의 영향을 근사하고 합계: sum_{z in D_hat} I_param(z) 의 L2 노름을 <= epsilon로 제약한다.
• 두 개의 이산 최적화 문제를 형성한다: (a) epsilon 제약 하에서 부분집합 크기를 최대화하는 일반화 보장 가지치기; (b) 고정된 m에 대해 매개변수 변화 최소화를 목표로 하는 카디널리티 보장 가지치기.

실험 결과

연구 질문

• RQ1 사전에 정의된 일반화 오차를 넘지 않으면서 학습 데이터에서 얼마나 큰 부분집합을 제거할 수 있는가?
• RQ2 샘플 그룹 제거 시 영향 함수 기반 근사가 일반화에 미치는 영향을 신뢰성 있게 경계지을 수 있는가?
• RQ3 가지치기된 데이터셋이 아키텍처 간 성능을 보존하고 신경망 아키텍처 탐색(NAS) 효율성을 높이는가?
• RQ4 가지치기 비율, 일반화 및 학습 효율성 사이의 실험적 트레이드오프는 무엇인가?

주요 결과

• 가지치기 방법은 CIFAR-10에서 테스트 정확도 손실 1.3%로 40%의 데이터 축소를 달성한다.
• 관찰된 일반화 경계가 epsilon을 기반으로 한 이론적 경계와 일치하며 경험적 일관성이 뚜렷하다.
• 기반선 대비, 최적화 기반 가지치기가 무작위, Herding, Forgetting, GraNd, EL2N, 간단한 영향 점수 방법들보다 우수하며 특히 높은 가지치기 비율에서 강력하다.
• 가지치기된 데이터는 보지 못한 아키텍처에 잘 일반화(예: 작은 네트워크로 가지치기가 ResNet18/50으로 전달)한다.
• 가지치기된 데이터는 훈련 시간을 크게 단축시키면서도 성능 손실은 최소화한다(예: CIFAR-10에서 수렴 시간 거의 절반으로 감소).
• NAS 유사 실험에서 가지치기된 프록시 데이터셋은 전체 데이터셋을 사용했을 때와 비슷한 성능의 아키텍처를 찾는 데 기여하면서 탐색 시간과 저장 공간을 크게 줄인다.