[논문 리뷰] On Warm-Starting Neural Network Training

Jordan T. Ash, Ryan P. Adams|arXiv (Cornell University)|2019. 10. 18.

Machine Learning and Data Classification참고 문헌 51인용 수 56

한 줄 요약

논문은 순차 데이터 설정에서 워밍 스타트를 사용하는 신경망이 일반화에 해를 끼친다고 보이고, 일반화 격차를 줄이면서도 더 빠른 학습을 유지하는 간단한 shrink-then-perturb 트릭을 도입한다.

ABSTRACT

In many real-world deployments of machine learning systems, data arrive piecemeal. These learning scenarios may be passive, where data arrive incrementally due to structural properties of the problem (e.g., daily financial data) or active, where samples are selected according to a measure of their quality (e.g., experimental design). In both of these cases, we are building a sequence of models that incorporate an increasing amount of data. We would like each of these models in the sequence to be performant and take advantage of all the data that are available to that point. Conventional intuition suggests that when solving a sequence of related optimization problems of this form, it should be possible to initialize using the solution of the previous iterate -- to "warm start" the optimization rather than initialize from scratch -- and see reductions in wall-clock time. However, in practice this warm-starting seems to yield poorer generalization performance than models that have fresh random initializations, even though the final training losses are similar. While it appears that some hyperparameter settings allow a practitioner to close this generalization gap, they seem to only do so in regimes that damage the wall-clock gains of the warm start. Nevertheless, it is highly desirable to be able to warm-start neural network training, as it would dramatically reduce the resource usage associated with the construction of performant deep learning systems. In this work, we take a closer look at this empirical phenomenon and try to understand when and how it occurs. We also provide a surprisingly simple trick that overcomes this pathology in several important situations, and present experiments that elucidate some of its properties.

연구 동기 및 목표

• 순차 데이터 업데이트 시나리오에서 워밍 스타트된 신경 망이 일반화 격차를 관찰하는 동기 부여와 분석.
• 아키텍처, 옵티마이저 및 데이터셋 전반에 걸쳐 일반화 격차가 어떻게 나타나는지 정량화.
• 워밍 스타트 맥락에서 전통적인 초기화/정규화 접근법을 평가.
• 일반화 격차를 완화하기 위한 간단한 수정 기법을 제안하고 검증.
• 데이터가 풍부한 환경에서 온라인 학습 및 사전 학습에 대한 시사점을 탐구.

제안 방법

• 아키텍처(ResNet-18, MLP, 로지스틱 회귀) 및 데이터셋(CIFAR-10, CIFAR-100, SVHN)에 걸친 워밍 스타트된 네트워크와 무작위로 초기화된 네트워크의 경험적 비교.
• 데이터가 청크로 도착하고 이전 매개변수로 업데이트된 모델과 새로 시작한 모델의 온라인/배치 업데이트 실험.
• 배치 크기 및 학습률에 대한 체계적 하이퍼파라미터 탐색으로 가능한 해결책 평가.
• L2, 확신 페널티 또는 적대적 학습이 격차를 완화하는지 확인하기 위한 정규화 실험.
• 제어된 축소 계수 lambda와 잡음 sigma를 사용한 shrink, perturb, repeat 트릭의 도입 및 평가로 그래디언트 균형 조정.
• 트릭의 메커니즘을 이해하기 위한 그래디언트 크기 분석.

실험 결과

연구 질문

• RQ1 워밍 스타트가 새로운 데이터로 신경망을 업데이트할 때 무작위 초기화에 비해 일반화를 저하시킬까?
• RQ2 일반화 격차가 모델 유형, 데이터셋 난이도 및 옵티마이저에 따라 어떻게 다른가?
• RQ3 전통적 해결책(정규화, 하이퍼파라미터 조정)이 워밍 스타트 학습의 격차를 해결할 수 있는가?
• RQ4 간단한 초기화 수정(shrink-perturb)이 순차 업데이트에서 일반화를 회복하고 더 빠른 학습을 유지할 수 있는가?
• RQ5 데이터 풍부한 환경에서 사전 학습 전이와 워밍 스타트 간의 상호작용은 무엇인가?

주요 결과

• 워밍 스타트된 신경망은 무작위로 초기화된 동료들보다 일반화가 일관되게 더 나쁘게 나타나며, 학습 정확도가 비슷하더라도 그렇다.
• 일반화 격차는 CIFAR-10에서 SVHN보다 더 두드러지며, 로지스틱 회귀(볼록 손실)은 덜 영향을 받는다.
• 배치 크기나 학습률을 바꾼다고 해서 격차가 완전히 해결되지는 않으며, 경우에 따라 워밍 스타트 모델이 이전 학습을 잊는 반면 더 빠른 학습과 정렬된다.
• 단순한 shrink-perturb 트릭(theta^t = lambda theta^{t-1} + p^t, p^t ~ N(0, sigma^2))은 격차를 해소하고 온라인 학습 속도를 높일 수 있으며, lambda가 대략 0.6일 때 무작위 초기화 성능에 자주 대응한다.
• 축소는 학습된 가설을 어느 정도 보존하고, 이전 데이터와 새 데이터 간 그래디언트 기여를 균형 있게 맞추며, 섞기(perturbation)와 결합할 때 순수한 워밍 스타트보다 학습 효율성과 일반화를 모두 개선한다.
• 관련이 없는 데이터에서의 사전 학습 전이가 데이터가 풍부한 두 번째 작업의 성능을 해칠 수 있으며, shrink-perturb 초기화는 전이 시나리오에 걸쳐 적응하며 데이터 가용성에 따라 워밍 스타트나 스크래치 학습만큼이나 또는 그보다 잘 수행한다.