[논문 리뷰] Reducing the Training Time of Neural Networks by Partitioning

Conrado Silva Miranda, Fernando J. Von Zuben|arXiv (Cornell University)|2015. 11. 10.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 동일한 작업에서 동시에 학습되는 여러 개의 더 작은 독립적인 하위모델으로 신경망을 분할하는 새로운 사전학습 방법을 제안한다. 이는 성능을 저하시키지 않은 채 학습 시간을 단축시킨다. 하위모델의 크기가 분할 수와 거의 제곱근 비례로 감소함에 따라 이 방법은 빠른 속도 향상을 이룬다 — 특히 더 큰 모델에서는 최대 3.3배의 성능 향상을 기록한다. 이는 기존 학습 프레임워크와 호환되며 분산 학습에서의 잠재적 이점을 제공한다.

ABSTRACT

This paper presents a new method for pre-training neural networks that can decrease the total training time for a neural network while maintaining the final performance, which motivates its use on deep neural networks. By partitioning the training task in multiple training subtasks with sub-models, which can be performed independently and in parallel, it is shown that the size of the sub-models reduces almost quadratically with the number of subtasks created, quickly scaling down the sub-models used for the pre-training. The sub-models are then merged to provide a pre-trained initial set of weights for the original model. The proposed method is independent of the other aspects of the training, such as architecture of the neural network, training method, and objective, making it compatible with a wide range of existing approaches. The speedup without loss of performance is validated experimentally on MNIST and on CIFAR10 data sets, also showing that even performing the subtasks sequentially can decrease the training time. Moreover, we show that larger models may present higher speedups and conjecture about the benefits of the method in distributed learning systems.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 학습 시간을 줄이되, 최종 성능에 영향을 주지 않도록 하는 것.
• 특히 자원 제약 조건이나 분산 환경에서 큰 모델의 사전학습에 따른 높은 계산 비용을 해결하는 것.
• 원래 학습 작업을 유지하면서 하위모델을 병렬로 통신 없이 학습시킬 수 있도록 하는 것.
• 더 큰 모델과 분산 학습 시스템에서 이 방법의 확장성과 효율성 탐색하기.
• 기존 아키텍처, 최적화기, 손실 함수와 호환되는 사전학습 접근법 제공하기.

제안 방법

• 신경망이 동일한 원래 작업에서 독립적으로 학습되는 여러 개의 더 작은 하위모델로 분할된다.
• 각 하위모델은 입력 데이터의 부분집합에서 학습되며, 무작위로 초기화된 파라미터를 표준 역전파를 통해 업데이트한다.
• 학습 후, 하위모델의 가중치를 결합하여 전체 네트워크를 위한 사전학습된 초기 모델로 통합한다.
• 다른 무작위 초기화와 가중치 전달 시 노이즈 주입을 통해 하위모델이 다양한 표현을 학습하도록 보장한다.
• 통합 과정에서는 각 파라미터 세트에 최대 절대값의 2%에 해당하는 균일한 노이즈를 추가하고 누적된 모멘타를 0으로 초기화한다.
• 이 방법은 표준 학습 파ip라인과 호환되며, 어떤 신경망 아키텍처, 최적화기, 손실 함수에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 독립적인 하위모델로 신경망을 분할하면 사전학습 시간을 단축시킬 수 있을까? 최종 성능는 유지되는가?
• RQ2 하위모델 수와 모델 크기에 따라 학습 속도 향상은 어떻게 변화하는가?
• RQ3 하위모델을 병렬이 아닌 순차적으로 학습해도 이 방법이 속도 향상을 낼 수 있는가?
• RQ4 하위모델이 학습한 표현의 다양성이 통합 후 일반화 성능 향상에 기여하는가?
• RQ5 이 방법은 분산 학습 또는 모델 병렬 학습 시스템에서 어떤 잠재적 이점을 제공하는가?

주요 결과

• 2개의 하위모델로 분할했을 때, 43만 개 파라미터를 가진 3층 모델에서는 2.1배의 속도 향상을 기록했고, 210만 개 파라미터를 가진 4층 모델에서는 3.3배의 속도 향상을 기록했다.
• 하위모델을 순차적으로 학습한 경우에도 전체 모델를 직접 학습하는 것보다 1.45배의 속도 향상을 달성했다.
• MNIST 및 CIFAR10에서의 실험을 통해 최종 성능가 변화 없이 유지됨을 확인했다.
• 분할 수가 증가할수록 하위모델이 학습한 표현 간의 쌍별 다양성이 증가하여, 이 방법의 설계가 타당함을 뒷받침한다.
• 하위모델당 파라미터 수를 거의 제곱근 비례로 감소시켜 분산 학습에서의 통신 오버헤드를 줄였다.
• 이 방법은 기존 학습 프레임워크와 호환되며, Net2Net을 통한 모델 확장 기법과도 조합 가능하다.