[논문 리뷰] Predicting Training Time Without Training

Luca Zancato, Alessandro Achille외 3명|arXiv (Cornell University)|2020. 08. 28.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 실제 훈련을 수행하지 않고도 미세조정된 딥 네트워크의 훈련 시간을 예측하는 방법을 제안한다. 이는 함수 공간 내에서 저차원의 확률적 미분 방정식(SDE)을 통해 훈련 동역학을 모델링함으로써 이루어지며, 전체 훈련에 비해 30~45배 적은 계산 비용으로 예측 오차가 20% 이내가 된다.

ABSTRACT

We tackle the problem of predicting the number of optimization steps that a pre-trained deep network needs to converge to a given value of the loss function. To do so, we leverage the fact that the training dynamics of a deep network during fine-tuning are well approximated by those of a linearized model. This allows us to approximate the training loss and accuracy at any point during training by solving a low-dimensional Stochastic Differential Equation (SDE) in function space. Using this result, we are able to predict the time it takes for Stochastic Gradient Descent (SGD) to fine-tune a model to a given loss without having to perform any training. In our experiments, we are able to predict training time of a ResNet within a 20% error margin on a variety of datasets and hyper-parameters, at a 30 to 45-fold reduction in cost compared to actual training. We also discuss how to further reduce the computational and memory cost of our method, and in particular we show that by exploiting the spectral properties of the gradients' matrix it is possible predict training time on a large dataset while processing only a subset of the samples.

연구 동기 및 목표

• 실제 훈련을 수행하지 않고도 사전 훈련된 딥 네트워크가 목표 손실 값에 수렴하기 위해 필요한 최적화 단계 수를 예측하는 것.
• 분석적 예측이 가능한 선형화된 근사 모델을 통해 미세조정된 네트워크의 훈련 동역학을 모델링하는 것.
• 기울기 행렬의 스펙트럼 성질을 활용하여 훈련 시간 예측의 계산 및 메모리 비용을 줄이는 것.
• 오직 훈련 샘플의 일부만을 사용하여도 대규모 데이터셋에서 빠르고 확장 가능한 수렴 시간 예측을 가능하게 하는 것.

제안 방법

• 선형화된 네트워크 근사에서 유도된 함수 공간 내 저차원 확률적 미분 방정식(SDE)을 사용하여 딥 네트워크의 미세조정 동역학을 모델링하는 것.
• SDE를 해석적으로 풀어 최적화 과정 중 어떤 시점에서든 훈련 손실과 정확도의 변화를 예측하는 것.
• SDE의 해를 활용하여 목표 손실 값에 도달하기 위해 필요한 SGD 단계 수를 추정함으로써 실제 훈련을 회피하는 것.
• 예측 과정에서 계산 비용과 메모리 사용량을 줄이기 위해 기울기 행렬의 스펙트럼 분해를 활용하는 것.
• 스펙트럼 성질을 활용하여 훈련 데이터의 일부에만 적용함으로써 대규모 데이터셋에서도 확장 가능한 예측을 가능하게 하는 것.
• 정확한 장기 예측을 위해 단지 몇 차례의 초기 훈련 단계를 사용하여 SDE의 파라미터를 校정하는 것.

실험 결과

연구 질문

• RQ1 실제 훈련을 수행하지 않고도 수렴에 필요한 최적화 단계 수를 예측할 수 있는가?
• RQ2 선형화된 SDE 모델이 미세조정된 딥 네트워크의 훈련 동역학을 얼마나 정확히 포괄할 수 있는가?
• RQ3 예측의 계산 비용은 전체 훈련에 비해 얼마나 되며, 이를 어떻게 최소화할 수 있는가?
• RQ4 기울기의 스펙트럼 성질을 활용하여 예측 과정에서 메모리와 계산량을 줄일 수 있는가 동시에 정확도를 유지할 수 있는가?
• RQ5 이 방법은 다양한 데이터셋과 하이퍼파rameter 설정에 대해 일반화 가능한가?

주요 결과

• 이 방법은 다양한 데이터셋과 하이퍼파rameter 설정에서 ResNet 모델의 훈련 시간을 평균 오차 20% 이내로 정확히 예측한다.
• 실제 훈련에 비해 계산 비용이 1/30에서 1/45 수준으로 감소하여 빠른 모델 선택이 가능하다.
• 기울기 행렬의 스펙트럼 성질을 활용함으로써 오직 훈련 샘플의 일부만을 처리하는 데 필요한 계산 및 메모리 양을 줄일 수 있다.
• SDE 기반 모델은 훈련 동역학을 정확히 포착하여 시간에 따른 손실과 정확도의 신뢰성 있는 외삽을 가능하게 한다.
• 다양한 데이터셋과 하이퍼파arameter 설정에서도 안정적인 성능을 유지하며 일반화 능력을 입증한다.
• 전체 훈련이 수 시간 또는 수 일 동안 소요되는 데 비해, 이 방법은 수초 내로 수렴 시간을 예측할 수 있다.