[논문 리뷰] GRAD-MATCH: Gradient Matching based Data Subset Selection for Efficient Deep Model Training

Krishnateja Killamsetty, Durga Sivasubramanian외 3명|arXiv (Cornell University)|2021. 02. 27.

Advanced Neural Network Applications참고 문헌 39인용 수 11

한 줄 요약

이 논문은 기울기 매칭 오차를 최소화하여 전체 데이터셋과 부분집합 간의 기울기 일치를 달성함으로써 훈련 부분집합을 식별하는 Grad-Match라는 데이터 부분집합 선택 프레임워크를 제안한다. 기저 기반의 매칭 추적 기법을 사용하며, 이미지넷에서 최대 7배 빠른 훈련 속도를 기록하면서도 정확도 저하가 1~3%에 불과하여, 캐리크 및 글리스터와 같은 기존 방법들을 초월하는 최신 기술 수준의 정확도-효율성 균형을 달성한다. CIFAR-10, CIFAR-100, MNIST에서 모두 성능을 뛰어나게 한다.

ABSTRACT

The great success of modern machine learning models on large datasets is contingent on extensive computational resources with high financial and environmental costs. One way to address this is by extracting subsets that generalize on par with the full data. In this work, we propose a general framework, GRAD-MATCH, which finds subsets that closely match the gradient of the training or validation set. We find such subsets effectively using an orthogonal matching pursuit algorithm. We show rigorous theoretical and convergence guarantees of the proposed algorithm and, through our extensive experiments on real-world datasets, show the effectiveness of our proposed framework. We show that GRAD-MATCH significantly and consistently outperforms several recent data-selection algorithms and achieves the best accuracy-efficiency trade-off. GRAD-MATCH is available as a part of the CORDS toolkit: \url{https://github.com/decile-team/cords}.

연구 동기 및 목표

• 대규모 데이터셋에서 딥러닝 모델을 훈련하는 데 소요되는 높은 계산 비용과 환경 영향을 해결한다.
• 모델의 일반화 능력을 유지하면서 훈련 데이터 크기를 극적으로 줄일 수 있는 데이터 부분집합 선택 방법을 개발한다.
• 기울기 매칭을 통한 적응형 데이터 부분집합 선택에 대한 이론적 수렴 보장을 제공한다.
• 기존 최신 기술 수준의 부분집합 선택 방법들과 비교해 뛰어난 정확도-효율성 균형을 달성한다.
• 저자원 하드웨어에서 효율적인 훈련을 가능하게 하고, 빠르고 정확한 부분집합 선택을 통해 하이퍼파라미터 튜닝을 가속화한다.

제안 방법

• 전체 데이터셋 기울기와 부분집합 기울기 간 잔차 오차를 최소화하는 방식으로 데이터 부분집합 선택 문제를 설정함으로써, 기울기 매칭 품질에 의존하는 이론적 수렴 경계를 도출한다.
• 근사 최적의 부분집합 선택을 보장하는 이론적 근거를 가진 약한 하위모듈라 최대화 문제로 부분집합 선택을 모델링한다.
• 기울기 매칭 오차를 최소화하는 데 가장 기여하는 데이터 포인트를 반복적으로 선택하기 위해 직교 매칭 추적(OMP) 알고리즘을 구현한다.
• 확장성과 훈련 효율성을 향상시키기 위해 PerClassPerGradient 및 PerBatch 변형과 같은 최적화 기법을 도입한다.
• 오픈소스 배포 및 프oxy 기반 선택 방법과의 확장성을 확보하기 위해 CORDS 툴킷과 통합한다.
• 일반화 성능 향상을 위해 특히 초기 훈련 단계에서 검증 기울기 매칭을 프록시로 사용한다.

실험 결과

연구 질문

• RQ1 데이터 부분집합과 전체 데이터셋 간의 기울기 매칭이 딥러닝에서 더 나은 수렴과 일반화를 이끌 수 있는가?
• RQ2 적응형 데이터 부분집합 선택의 이론적 수렴 경계는 기울기 매칭 오차에 어떻게 의존하는가?
• RQ3 그리디 기반의 직교 매칭 추적 알고리즘이 기울기 매칭 오차를 효과적으로 최소화하면서도 확장성 유지가 가능한가?
• RQ4 Grad-Match는 캐리크 및 글리스터와 같은 최신 기술 수준의 부분집합 선택 방법들과 비교해 정확도와 훈련 효율성에서 어떻게 성능을 냈는가?
• RQ5 Grad-Match는 정확도 저하 없이 훈련 시간과 에너지 소비를 얼마나 줄일 수 있는가?

주요 결과

• ResNet-18을 사용한 이미지넷에서 Grad-Match는 30%의 데이터만 사용해 1%의 정확도 저하로 3배 빠른 훈련 속도를 기록하며, 300 에포크가 넘는 훈련 시 전체적으로 2.5배 빠른 속도를 달성한다.
• CIFAR-10과 CIFAR-100에서 Grad-Match는 각각 20%와 10%의 부분집합을 사용해 최대 4배와 7배 빠른 훈련 속도를 기록하면서도 경쟁 가능한 정확도를 유지한다.
• MNIST에서는 단지 1%의 데이터만 사용해 27배 빠른 훈련 속도를 기록하며 정확도 저하율이 0.35%에 불과하며, 조기 정지 기반의 전체 훈련을 뛰어넘는 성능을 보인다.
• Grad-Match의 PerBatch 변형이 정확도와 훈련 효율성의 균형을 가장 잘 확보하여 PerClass 및 PerClassPerGradient보다 빠르고 정확도 면에서 뛰어나다.
• CIFAR-10과 CIFAR-100에서 Grad-Match는 더 작은 ResNet-18 모델을 사용해도 Facility Location, 엔트로피, 무시됨 이벤트와 같은 프록시 기반 방법들을 모두 능가한다.
• 기타 방법들과 비교해 Grad-Match는 기울기 근사 오차가 현저히 낮으며, MNIST에서 1% 부분집합 크기일 때 전체 기울기 크기의 91.12%를 유지한다.