[논문 리뷰] Statistically Significant Stopping of Neural Network Training

Justin K. Terry, Mario Jayakumar외 1명|arXiv (Cornell University)|2021. 03. 01.

Machine Learning and Data Classification참고 문헌 14인용 수 4

한 줄 요약

이 논문은 성능 향상이 유의미하지 않아지면 자동으로 신경망 학습을 중단시키는 통계적으로 모otivated된 조기 정지 기준인 보완된 샤피로-윌크 정지(ASWS)를 제안한다. 검증 정확도 변화의 정규성 여부를 검정함으로써, ASWS는 최고 성능를 보이는 기존 방법들과 유사한 최종 정확도를 달성하면서도 학습을 77% 이하의 에포크 수로 중단함으로써 학습 시간과 계산 비용을 줄이고 정확도 손실를 최소화한다.

ABSTRACT

The general approach taken when training deep learning classifiers is to save the parameters after every few iterations, train until either a human observer or a simple metric-based heuristic decides the network isn't learning anymore, and then backtrack and pick the saved parameters with the best validation accuracy. Simple methods are used to determine if a neural network isn't learning anymore because, as long as it's well after the optimal values are found, the condition doesn't impact the final accuracy of the model. However from a runtime perspective, this is of great significance to the many cases where numerous neural networks are trained simultaneously (e.g. hyper-parameter tuning). Motivated by this, we introduce a statistical significance test to determine if a neural network has stopped learning. This stopping criterion appears to represent a happy medium compared to other popular stopping criterions, achieving comparable accuracy to the criterions that achieve the highest final accuracies in 77% or fewer epochs, while the criterions which stop sooner do so with an appreciable loss to final accuracy. Additionally, we use this as the basis of a new learning rate scheduler, removing the need to manually choose learning rate schedules and acting as a quasi-line search, achieving superior or comparable empirical performance to existing methods.

연구 동기 및 목표

• 과도한 피팅을 방지하고 계산 낭비를 줄이는 원칙적인 자동화된 신경망 학습 정지 방법을 개발하는 것.
• 대규모 하이퍼파ram터 탐색 및 AutoML 파이프라인에서 히우리스틱 기반 조기 정지의 비효율성을 해결하는 것.
• 수동 하이퍼파ram터 튜닝을 제거하는 조기 정지 기준에 기반한 학습률 스케줄러를 개발하는 것.
• 미래의 연구를 위해 재사용 가능한 100개의 신경망 학습 런(10개의 모델이 CIFAR10에서, 10개가 ImageNet에서 수행됨) 데이터셋을 제공하는 것.

제안 방법

• 연속된 에포크 간 검증 정확도 차이의 분포에 대한 정규성 검정을 수행하는 보완된 샤피로-윌크 정지(ASWS) 기준을 제안한다.
• 통계적 가설 검정을 통해 향후 학습이 의미 있는 성능 향상으로 이어질 가능성이 있는지 판단한다.
• 초기 학습 단계에서의 노이즈와 변동성을 고려하기 위해 스레드 파라미터를 적용한 수정된 샤피로-윌크 검정을 적용한다.
• ASWS 정지 신호에 기반하여 동적으로 조정되는 새로운 학습률 스케줄러를 도입하며, 이는 준-라인어 서치와 유사하게 작동한다.
• 실시간 의사결정을 가능하게 하기 위해 최근 검증 정확도 값의 슬라이딩 윈도우를 사용하여 검정 통계량을 계산한다.
• 최적의 정지 시점 탐지에서 민감도와 강건성을 균형 잡기 위해 slackProp 하이퍼파ram터를 튜닝한다.

실험 결과

연구 질문

• RQ1 검증 정확도 변화에 대한 통계적 유의성 검정이 신경망 학습에서 최적의 정지 시점을 신뢰성 있게 식별할 수 있는가?
• RQ2 ASWS는 최종 정확도와 학습 기간 측면에서 히우리스틱 기반 조기 정지 방법과 비교해 어떻게 성능을 내는가?
• RQ3 ASWS 정지 신호는 수동 튜닝 없이 학습률 스케줄러를 효과적으로 이끌 수 있는가?
• RQ4 제안된 방법은 하이퍼파라미터 탐색 및 AutoML 워크플로우에서 계산 비용을 어느 정도 줄일 수 있는가?
• RQ5 학습 후반 단계에서 검증 정확도 차이의 정규성 가정은 타당한가?

주요 결과

• ASWS는 최고 성능를 보이는 정지 기준과 비교해 77% 이하의 에포크 수로 학습을 중단하며, 최종 정확도 손실는 최소한이다.
• 최신 기술 수준의 정지 기준과 유사한 최종 정확도를 달성하면서도 학습 시간을 최대 23% 줄였다.
• ASWS 기반 학습률 스케줄러는 ResNet101과 GoogLeNet에서 기존의 CyclicLR 및 StepLR와 같은 스케줄러보다 수렴 속도와 최종 정확도에서 뛰어나거나 동등한 성능를 보였다.
• 100개의 학습 세션(10개의 모델이 CIFAR10에서, 10개가 ImageNet에서 수행됨)으로 구성된 제안된 데이터셋은 향후 학습 동역학 및 정지 기준 연구에 있어 귀중한 벤치마크를 제공한다.
• 정규성 검정의 이론적 한계가 있음에도 불구하고, ASWS의 경험적 성능는 자동 학습 종료에 있어 강력한 실용적 유용성을 시사한다.
• slackProp 하이퍼파라미터는 성능에 상당한 영향을 미치며, 이는 최적 결과를 얻기 위해 이 파라미터를 튜닝하는 것이 필수적임을 시사한다.