[논문 리뷰] Efficient Augmentation via Data Subsampling

Michael Kuchnik, Virginia Smith|arXiv (Cornell University)|2018. 10. 11.

Machine Learning and Data Classification인용 수 10

한 줄 요약

이 논문은 영향도와 손실 기반 메트릭을 사용하여 고영향도 데이터 포인트를 전략적으로 선택함으로써 효율적인 데이터 증강 기법을 제안한다. CIFAR10과 MNIST에서 전체 증강 정확도의 99.86%를 유지하면서 증강 데이터 크기를 90% 감소시켜 모델 성능을 훼손하지 않으면서 훈련 비용을 크게 절감한다.

ABSTRACT

Data augmentation is commonly used to encode invariances in learning methods. However, this process is often performed in an inefficient manner, as artificial examples are created by applying a number of transformations to all points in the training set. The resulting explosion of the dataset size can be an issue in terms of storage and training costs, as well as in selecting and tuning the optimal set of transformations to apply. In this work, we demonstrate that it is possible to significantly reduce the number of data points included in data augmentation while realizing the same accuracy and invariance benefits of augmenting the entire dataset. We propose a novel set of subsampling policies, based on model influence and loss, that can achieve a 90% reduction in augmentation set size while maintaining the accuracy gains of standard data augmentation.

연구 동기 및 목표

• 딥러닝에서 전체 데이터 증강의 높은 계산 및 스토리지 비용을 해결하기 위해.
• 전체 데이터셋을 증강하는 것과 유사한 성능을 내기 위해, 훈련 데이터 포인트의 소수의 부분집합을 선택하여 증강하는 것.
• 서포트 벡터나 모델에 특화된 가정에 의존하지 않는 일반화 가능하고 모델에 관계없이 적용 가능한 서브샘플링 정책을 개발하기 위해.
• 변환 집합의 히ュ리스틱 튜닝이 줄어들도록 데이터 증강의 효율성과 사용성을 향상시키기 위해.
• 영향도, 손실, 다양성 기반 선택 전략이 증강 집합 크기를 최소화하는 데 얼마나 효과적인지 평가하기 위해.

제안 방법

• 높은 훈련 손실을 보이는 데이터 포인트를 우선순위로 삼는 손실 기반 서브샘플링 정책을 제안한다.
• 영향 함수를 사용하여 모델 예측에 가장 큰 영향을 미치는 포인트를 식별하는 영향도 기반 정책을 도입한다.
• 영향도와 특징 기반 다양성(버티브 레이어 특징)을 k-DPP 커널에 통합하여 선택의 품질과 다양성을 균형 잡는다.
• 선택된 증강 서브셋의 성능을 향상시키기 위해 샘플 재가중치와 온라인 학습을 활용한다.
• 수치적 불안정성 문제를 해결하기 위해 정규화 및 스케일링을 적용한 DPP 기반 선택의 공개 구현을 사용한다.
• 통제된 훈련 환경 하에서 여러 데이터셋(MNIST, CIFAR10, NORB)과 모델(ResNet, Xception, SVM)을 대상으로 방법을 평가한다.

실험 결과

연구 질문

• RQ1 전체 데이터 증강과 동일한 성능을 내기 위해, 상당히 감소된 데이터 포인트 집합만 증강해도 가능한가?
• RQ2 영향도와 손실 메트릭은 무작위 또는 히ュ리스틱 샘플링에 비해 증강 후보를 선택하는 데 얼마나 더 효과적인가?
• RQ3 DPP를 통한 다양성 인식 선택이 영향도나 손실 기반 선택과 결합되었을 때 성능 향상에 얼마나 기여하는가?
• RQ4 서브샘플링 기반 증강은 데이터셋 크기와 비례하여 훈련 시간과 정확도가 선형적으로 증가하는가?
• RQ5 영향도 기반 정책은 SVM을 초월해 다양한 모델과 데이터 모odal리티에 일반화 가능한가?

주요 결과

• 제안된 영향도 기반 및 손실 기반 서브샘플링 정책는 전체 데이터 증강의 정확도의 99.86% 이상을 달성하면서 증강 집합 크기를 90% 감소시켰다.
• 이동 증강을 사용한 CIFAR10에서, 전체 정확도에 도달하기 위해 전체 데이터셋의 10%만 증강하면 충분했다.
• 모든 평가된 데이터셋과 모델에서 영향도 기반 선택은 무작위 샘플링 및 단순 기준보다 뛰어난 성능을 보였다.
• 영향도 가중 DPP 접근법은 영향도 기반 선택의 성능을 그대로 유지함으로써 품질과 다양성의 조합이 가치 있음을 입증했다.
• 훈련 시간은 데이터셋 크기와 선형적으로 증가하여, 서브샘플링이 훈련 비용을 비례적으로 감소시킴을 확인했다.
• 이 방법은 ResNet과 Xception 모델에 적용되었을 때에도 효과적이었으며, SVM을 초월해 광범위하게 적용 가능함을 시사한다.