[논문 리뷰] Repeated Random Sampling for Minimizing the Time-to-Accuracy of Learning

Patrik Okanovic, Roger Waleffe외 6명|arXiv (Cornell University)|2023. 05. 28.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 깊이 학습에서 시간 대 정확도를 최소화하기 위해 각 에포크마다 독립적으로 무작위로 훈련 서브셋을 반복적으로 샘플링하는 간단하면서도 매우 효과적인 방법인 반복적 무작위 서브셋 샘플링(RS2)을 소개한다. RS2는 여러 데이터셋에서 최신의 데이터 프루닝 및 디스틸레이션 방법을 능가하며, ImageNet에서 전체 데이터의 10% 미만 사용 시 최대 29% 높은 정확도와 7배 빠른 훈련 속도를 달성한다. 또한 이론적 수렴 및 일반화 경계를 제공한다.

ABSTRACT

Methods for carefully selecting or generating a small set of training data to learn from, i.e., data pruning, coreset selection, and data distillation, have been shown to be effective in reducing the ever-increasing cost of training neural networks. Behind this success are rigorously designed strategies for identifying informative training examples out of large datasets. However, these strategies come with additional computational costs associated with subset selection or data distillation before training begins, and furthermore, many are shown to even under-perform random sampling in high data compression regimes. As such, many data pruning, coreset selection, or distillation methods may not reduce 'time-to-accuracy', which has become a critical efficiency measure of training deep neural networks over large datasets. In this work, we revisit a powerful yet overlooked random sampling strategy to address these challenges and introduce an approach called Repeated Sampling of Random Subsets (RSRS or RS2), where we randomly sample the subset of training data for each epoch of model training. We test RS2 against thirty state-of-the-art data pruning and data distillation methods across four datasets including ImageNet. Our results demonstrate that RS2 significantly reduces time-to-accuracy compared to existing techniques. For example, when training on ImageNet in the high-compression regime (using less than 10% of the dataset each epoch), RS2 yields accuracy improvements up to 29% compared to competing pruning methods while offering a runtime reduction of 7x. Beyond the above meta-study, we provide a convergence analysis for RS2 and discuss its generalization capability. The primary goal of our work is to establish RS2 as a competitive baseline for future data selection or distillation techniques aimed at efficient training.

연구 동기 및 목표

• 기존의 데이터 프루닝 및 디스틸레이션 방법이 시간 대 정확도를 최소화하는 데 효율적이지 못한 점을 해결하기 위해, 특히 고압축 환경에서의 효율성을 높이기 위해.
• 복잡한 데이터 선택 전략이 효율적인 훈련을 위해 필수적이라는 가정을 도전하기 위해, 무작위 샘플링을 재검토하고 개선함으로써.
• 정확도와 훈련 속도 측면에서 최신 기술을 능가하는 강력하고 단순한 기준선(RS2)을 확립하기 위해.
• 수렴 및 일반화 오차 분석을 통한 RS2의 경험적 성공에 대한 이론적 근거를 제공하기 위해.

제안 방법

• RS2는 각 훈련 에포크마다 무작위로 새로운 서브셋을 독립적으로 샘플링하며, 각 에포크 내에서는 복원 없이 샘플링한다.
• 이 방법은 각 에포크마다 무작위로 재샘플링된 서브셋에서 미니배치를 추출하는 표준 확률적 경사 하강법을 사용한다.
• 이 접근법은 데이터에 독립적이고 비적응형이므로 계산적으로 가볍고 사전 처리 오버헤드가 없다.
• 이론적 분석에 따르면, RS2는 수렴 속도가 $\mathcal{O}\left(\frac{\beta||w^{0}-w^{*}||^{2}}{r^{2}T^{2}X^{2}} + \frac{\sigma||w^{0}-w^{*}||}{\sqrt{brTX}}\right)$ 임을 보여주며, 여기서 $r$은 서브셋 비율이고 $T$는 에포크 수이다.
• 일반화 오차는 안정성 분석을 통해 경계가 설정되며, 비볼록, 미분 가능하고 리프시츠 조건을 만족하는 손실 함수에 대해 $|\epsilon_{\mathrm{gen}}| \leq \frac{1}{N} \cdot 2Ce^{C\beta_{f}}L_{f}^{2}(rTX)^{C\beta_{f}} \min\{1 + \frac{1}{C\beta_{f}}, \log(e r T X)\}$ 임을 보여준다.
• 이 방법은 다양한 데이터 압축 환경에서 ImageNet 포함 4개의 데이터셋에서 평가되었으며, 30개의 최신 기술과의 아블레이션 및 비교 분석이 수행되었다.

실험 결과

연구 질문

• RQ1 에포크 간 반복적인 무작위 샘플링이 정적 서브셋 선택 또는 데이터 디스틸레이션에 비해 시간 대 정확도를 크게 향상시키는가?
• RQ2 복잡하고 계산 비용이 큰 데이터 프루닝 및 디스틸레이션 방법보다 간단하고 오버헤드가 낮은 무작위 샘플링 전략이 고압축 환경에서 승리할 수 있는가?
• RQ3 반복적인 무작위 샘플링이 확률적 최적화에서 수렴 및 일반화 행동에 대해 어떻게 작용하는가?
• RQ4 다양한 데이터셋과 압축 수준에서 RS2는 정확도, 훈련 속도, 내구성 측면에서 기존 기준선과 어떻게 비교되는가?

주요 결과

• RS2는 ImageNet의 10% 미만 데이터만 사용하여 각 에포크에 훈련할 때 최신 프루닝 방법 대비 시간 대 정확도를 최대 29% 향상시킨다.
• RS2는 동일한 고압축 환경에서 ImageNet에서 경쟁 방법 대비 런타임을 7배 감소시킨다.
• RS2는 모든 평가된 프루닝 및 디스틸레이션 방법보다 고압축 환경(r < 0.1)에서 승리하며, 이는 많은 기존 방법이 성능을 내리기 때문이다.
• 이론적 분석은 RS2가 수렴 속도 $\mathcal{O}\left(\frac{\beta||w^{0}-w^{*}||^{2}}{r^{2}T^{2}X^{2}} + \frac{\sigma||w^{0}-w^{*}||}{\sqrt{brTX}}\right)$ 로 수렴함을 확인하며, 이는 경험적 성능를 뒷받침한다.
• RS2의 일반화 오차는 $\frac{1}{N} \cdot 2Ce^{C\beta_{f}}L_{f}^{2}(rTX)^{C\beta_{f}} \min\{1 + \frac{1}{C\beta_{f}}, \log(e r T X)\}$ 로 경계지어지며, 강력한 일반화 능력을 나타낸다.
• RS2는 향후 데이터 선택 및 디스틸레이션 방법을 위한 새로운 경쟁 기준선을 설정하며, 효율성이 중요한 환경에서 단순성이 복잡성보다 승리할 수 있음을 보여준다.