[논문 리뷰] Kernel machines that adapt to GPUs for effective large batch training

Siyuan Ma, Mikhail A. Belkin|arXiv (Cornell University)|2018. 06. 15.

Advanced Neural Network Applications참고 문헌 30인용 수 4

한 줄 요약

이 논문은 고전적 커널 머신을 수정하여 계산 자원에 따라 커널을 분석적으로 적응시킴으로써 GPU에서 연장된 선형 스케일링을 가능하게 하는 원칙적인 프레임워크인 EigenPro 2.0을 소개한다. 이 방법은 예측 함수를 변경하지 않은 채로도 초당 수백만 개의 샘플을 처리할 수 있는 near-instant 훈련을 실현하여, 단일 Titan Xp GPU에서 ImageNet(130만 개 샘플) 훈련을 한 시간 이내에 완료한다. 이로 인해 최소한의 하이퍼파라미터 튜닝으로도 빠르고 상호작용 가능한 기계학습이 가능해진다.

ABSTRACT

Modern machine learning models are typically trained using Stochastic Gradient Descent (SGD) on massively parallel computing resources such as GPUs. Increasing mini-batch size is a simple and direct way to utilize the parallel computing capacity. For small batch an increase in batch size results in the proportional reduction in the training time, a phenomenon known as linear scaling. However, increasing batch size beyond a certain value leads to no further improvement in training time. In this paper we develop the first analytical framework that extends linear scaling to match the parallel computing capacity of a resource. The framework is designed for a class of classical kernel machines. It automatically modifies a standard kernel machine to output a mathematically equivalent prediction function, yet allowing for extended linear scaling, i.e., higher effective parallelization and faster training time on given hardware. The resulting algorithms are accurate, principled and very fast. For example, using a single Titan Xp GPU, training on ImageNet with $1.3 imes 10^6$ data points and $1000$ labels takes under an hour, while smaller datasets, such as MNIST, take seconds. As the parameters are chosen analytically, based on the theoretical bounds, little tuning beyond selecting the kernel and the kernel parameter is needed, further facilitating the practical use of these methods.

연구 동기 및 목표

• 커널 머신의 대용량 배치 훈련에서 선형 스케일링의 근본적 한계를 해결하기 위해, 훈련 시간이 임계 배치 크기 $m^*$를 초과하면 더 이상 감소하지 않는 문제를 다룬다.
• 학습된 예측 함수를 변경하지 않으면서도 현대 GPU의 병렬 처리 능력에 맞게 $m^*$를 연장하는 방법을 개발한다.
• 최적화 파라미터를 이론적 한계에서 분석적으로 유도함으로써, 최소한의 튜닝으로도 신속하고 상호작용 가능하며 원칙적인 커널 학습을 가능하게 한다.
• 히우리스틱 튜닝에 의존하는 것을 줄이고, 하드웨어에 자동으로 적응하는 프레임워크를 제공함으로써 훈련 효율성과 확장성을 향상시킨다.

제안 방법

• 표준 커널 머신을 수정하여 데이터 및 자원에 따라 변하는 커널을 도입함으로써 원래의 예측 함수와 수학적 동치성을 유지한다.
• 제한된 두 번째 차수 정보를 추출하여 최적화 과정을 재가중함으로써, 더 높은 효과적 배치 크기와 연장된 선형 스케일링을 가능하게 한다.
• 이론적 한계에 기반한 분석적 튜닝을 수행하는 반복 최적화 기법(EigenPro 반복)을 사용하여 하이퍼파라미터 탐색의 필요성을 최소화한다.
• 커널 재가중과 배치 처리를 통해 메모리 및 계산 비용을 감소시켜 GPU에서의 효율적 구현을 지원한다.
• Laplacian 커널을 활용함으로써 더 높은 안정성과 더 큰 $m^*$를 확보하여 Gaussian 커널에 비해 더 효과적인 병렬 처리가 가능하다.
• 차원 축소를 위한 PCA 통합은 정확도 손실이 크지 않은 상태에서 특징 공간을 줄이는 실용적인 가속 기법으로 기능한다.

실험 결과

연구 질문

• RQ1 현대 GPU의 병렬 처리 능력에 맞게 커널 머신 훈련의 선형 스케일링 한계를 분석적으로 연장할 수 있는가?
• RQ2 예측 함수를 유지하면서도 훨씬 높은 배치 크기와 더 빠른 훈련을 가능하게 하기 위해 커널 머신을 어떻게 수정할 수 있는가?
• RQ3 커널 선택(Laplacian vs. Gaussian 등)이 효과적 배치 크기 $m^*$과 훈련 속도에 어떤 영향을 미치는가?
• RQ4 PCA를 통한 차원 축소가 모델 성능 저하 없이 얼마나 커널 훈련을 가속화할 수 있는가?
• RQ5 최적화 과정을 분석적으로 원칙적으로 설계하고 거의 튜닝이 필요 없이도 최신 기술 수준의 훈련 속도를 달성할 수 있는가?

주요 결과

• 제안된 프레임워크는 표준 $m^*$ 한계를 초월해 선형 스케일링을 연장하여, 매우 큰 스케일에서도 배치 크기와 비례하여 훈련 시간이 감소함을 보였다.
• 단일 Titan Xp GPU에서 130만 개 샘플, 1000개 레이블을 가진 ImageNet 훈련이 한 시간 이내에 완료되어 높은 확장성을 입증했다.
• MNIST와 같은 더 작은 데이터셋의 경우 5초 이내에 훈련이 완료되어 상호작용적이고 탐색적인 기계학습 워크플로우를 가능하게 했다.
• Laplacian 커널은 Gaussian 커널보다 더 큰 $m^*$를 제공하여 더 효과적인 병렬 처리와 하이퍼파라미터 튜닝의 필요성을 감소시켰다.
• ImageNet에서 특징 차원을 1536에서 500으로 줄이는 PCA 적용으로 훈련 비용을 크게 감소시켰고, 정확도 손실은 0.2% 미만이었다.
• LibSVM과 ThunderSVM에 비해 훈련 속도에서 뛰어난 성능을 보였으며, 훨씬 적은 시간에 동일하거나 더 높은 테스트 정확도를 달성했다. 이는 최소한의 튜닝으로도 가능했다.