[논문 리뷰] Adaptive Second Order Coresets for Data-efficient Machine Learning

Omead Pooladzandi, David Davini외 1명|arXiv (Cornell University)|2022. 07. 28.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

AdaCore는 헤시안 기반 곡률 추정을 사용하여 동적으로 가중치가 부여된 훈련 부분집합을 선택하는 적응형 2차 코어셋 방법을 제안한다. 이는 조건부 경사하강법에 근거한 근사값을 제공하여 이론적 보장을 바탕으로 더 빠른 수렴을 가능하게 한다. 이 방법은 무작위 부분집합보다 4.5배 이상 빠르고, 전체 데이터보다 2.9배 빠르게 딥 네트워크를 훈련시키며, 다양하고 불확실하며 잊기 쉬운 샘플을 우선시함으로써 모델 정확도를 유지한다.

ABSTRACT

Training machine learning models on massive datasets incurs substantial computational costs. To alleviate such costs, there has been a sustained effort to develop data-efficient training methods that can carefully select subsets of the training examples that generalize on par with the full training data. However, existing methods are limited in providing theoretical guarantees for the quality of the models trained on the extracted subsets, and may perform poorly in practice. We propose AdaCore, a method that leverages the geometry of the data to extract subsets of the training examples for efficient machine learning. The key idea behind our method is to dynamically approximate the curvature of the loss function via an exponentially-averaged estimate of the Hessian to select weighted subsets (coresets) that provide a close approximation of the full gradient preconditioned with the Hessian. We prove rigorous guarantees for the convergence of various first and second-order methods applied to the subsets chosen by AdaCore. Our extensive experiments show that AdaCore extracts coresets with higher quality compared to baselines and speeds up training of convex and non-convex machine learning models, such as logistic regression and neural networks, by over 2.9x over the full data and 4.5x over random subsets.

연구 동기 및 목표

• 기존의 히وري스틱 기반 부분집합 선택에 의존하는 데이터 효율적 훈련 방법들이 이론적 보장을 갖추지 못한 점을 해결하기 위해.
• 헤시안에 의해 조건부된 전체 경사하강법을 근사하는 코어셋을 선택하여 모델 수렴 속도와 품질을 향상시키기 위해.
• 반복적이고 정보가 없는 데이터 포인트를 제거하면서도 학습에 필수적인 예제를 유지하기 위해.
• 선택된 코어셋에 대해 일阶 및 이阶 최적화 방법이 적용될 경우 엄밀한 수렴 보장을 제공하기 위해.
• 학습 중 변화하는 데이터 포인트 중요도(예: 불확실성 및 기억 용이성)에 따라 부분집합 선택을 동적으로 적응하기 위해.

제안 방법

• AdaCore는 손실 함수의 곡률을 실시간으로 근사하기 위해 헤시안의 지수 평균 추정치를 사용한다.
• 코어셋 선택 문제를 헤시안 대각선에 의해 조건부된 경사하강 정보를 반영하는 하위모듈라 함수의 최대화로 공식화한다.
• 계산 효율성을 유지하기 위해 전체 헤시안 계산을 피함으로써 헤시안 없는 최적화에 의존한다.
• 소음이 많은 국소 곡률 및 경사하강 추정치를 줄이기 위해 일阶 및 이阶 경사하강 정보를 지수 평균 처리하여 통합한다.
• 코어셋은 반복적으로 구성되며, 각 데이터 포인트는 조건부 경사하강에 기여하는 정도에 따라 가중치가 부여된다.
• AdaCore는 높은 불확실성과 높은 잊기 쉬움을 보이는 샘플을 우선시하여 일반화에 필수적인 요소로 간주한다.

실험 결과

연구 질문

• RQ1 곡률 정보를 통합한 코어셋 선택 방법이 이론적 보장을 바탕으로 더 빠른 수렴을 달성할 수 있는가?
• RQ2 곡률 기반의 적응형 코어셋 선택은 경사하강 정보만 사용하거나 히وري스틱 기반 방법과 비교해 훈련 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 AdaCore는 비볼록적인 딥 러닝 환경에서 학습에 필수적인 다양하고 중복되지 않는 예제를 효과적으로 식별하고 우선시할 수 있는가?
• RQ4 적응형 헤시안 추정을 통한 조건부 경사하강 근사 사용이 전체 배치 훈련에 비해 향상된 최적화 역학을 이끌어내는가?
• RQ5 선택 빈도와 배치 크기가 AdaCore가 생성한 코어셋의 성능에 영향을 미치는 방식은 어떠한가?

주요 결과

• CIFAR-100에서 ResNet18을 사용할 경우 AdaCore는 무작위 부분집합 훈련보다 4.5배 이상 빠르고, 전체 데이터 훈련보다 2.9배 빠르게 수렴한다.
• BDD100k에서 ResNet50을 사용할 경우 AdaCore는 전체 데이터 훈련보다 2.5배 빠르고, 무작위 부분집합보다 1.7배 빠르게 수렴한다.
• AdaCore는 Craig보다 더 다양한 부분집합을 선택하며, 선택 빈도 분포가 더 평탄하여 중복을 줄였다.
• 상위 순위에 속한 예제에서 더 높은 평균 잊기 점수와 불확실성을 보여주어, 잊기 쉬운 샘플과 불확실한 샘플을 우선시함을 입증했다.
• Craig는 높은 가중치 요소로 인해 문제가 발생하지만, AdaCore는 코어셋에 대해 더 큰 배치 크기를 사용해도 기울기 오차가 증가하지 않음을 보였다.
• 비볼록 모델인 딥 네트워크의 경우, AdaCore는 Polyak-Łojasiewicz (PL*) 조건 하에서 지수 수렴 속도를 보장하며, 전체 데이터 훈련의 동역학과 동일한 성능을 달성한다.