[논문 리뷰] Parallelizing Over Artificial Neural Network Training Runs with Multigrid

Jacob B. Schroder|arXiv (Cornell University)|2017. 08. 07.

Neural Networks and Applications참고 문헌 3인용 수 7

한 줄 요약

이 논문은 다중격자 시간 축소(MGRIT) 알고리즘을 인공 신경망의 순차적 학습 실행에 새로운 응용으로 제안하며, 각 학습 단계를 시간 유사 진화로 간주한다. 네트워크 가중치 갱신을 진화 방정식으로 재구성함으로써 MGRIT는 동일한 해를 얻는 동시에 수천 개의 학습 단계를 동시에 처리할 수 있게 하여 기존의 순차적 학습과 동일한 수렴 성능을 보이며, 모델 문제에서 뚜렷한 속도 향상 잠재력을 입증한다.

ABSTRACT

Artificial neural networks are a popular and effective machine learning technique. Great progress has been made parallelizing the expensive training phase of an individual network, leading to highly specialized pieces of hardware, many based on GPU-type architectures, and more concurrent algorithms such as synthetic gradients. However, the training phase continues to be a bottleneck, where the training data must be processed serially over thousands of individual training runs. This work considers a multigrid reduction in time (MGRIT) algorithm that is able to parallelize over the thousands of training runs and converge to the exact same solution as traditional training would provide. MGRIT was originally developed to provide parallelism for time evolution problems that serially step through a finite number of time-steps. This work recasts the training of a neural network similarly, treating neural network training as an evolution equation that evolves the network weights from one step to the next. Thus, this work concerns distributed computing approaches for neural networks, but is distinct from other approaches which seek to parallelize only over individual training runs. The work concludes with supporting numerical results for two model problems.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 수천 개의 학습 실행이 순차적으로 처리되어야 하는 지속적인 성능 저하 문제를 해결하기 위해.
• 학습 단계를 시간 유사 진화 단계로 재구성함으로써 MGRIT와 같은 시간 기반 병렬화 방법이 신경망 학습에 적용될 수 있는지 탐색하기 위해.
• 해를 정확히 유지하면서도 학습 실행 간 병렬성을 가능하게 하는 비침습적이고 확장 가능한 접근법을 개발하기 위해.
• 다양한 아키텍처와 솔버 설정을 가진 모델 문제를 사용하여 MGRIT가 신경망 학습에 대해 실현 가능하고 성능이 우수한지 조사하기 위해.

제안 방법

• 각 학습 단계 i를 시간 유사 증분으로 간주하여 신경망 학습을 진화 방정식 w_{i+1} = Φ(w_i)로 재구성한다.
• 다중격자 계층을 가진 수준 집합을 사용하여 수렴 속도를 향상시키는 MGRIT 알고리즘을 적용한다.
• 정확도와 안정성을 유지하기 위해 학습률 조정 또는 Φ의 이중 적용을 통해 공성 수준의 전파자 Φ^(ℓ)를 정의한다.
• 다중격자 해법에서 F-사이클과 V-사이클을 사용하며, 수렴을 향상시키기 위해 더 낮은 수준에서 α^(ℓ) 값을 증가시킨다.
• 기존의 순차적 학습 코드 Φ를 수정하지 않고도 MGRIT 해법 내부에 래핑하는 비침습적 프레임워크를 구현한다.
• α^(ℓ) 값을 더 낮은 수준에서 증가시키는 전략과 모든 학습 예제를 순차화하여 병렬성과 확장성을 향상시키는 방법을 탐색한다.

실험 결과

연구 질문

• RQ1 MGRIT는 인공 신경망 학습의 순차적 학습 실행에 대해 성공적으로 적용되어 단계 기반 병렬 처리가 가능한가?
• RQ2 병렬 처리된 학습 단계에도 불구하고 MGRIT 기반 접근법이 기존의 순차적 학습과 동일한 해에 수렴하는가?
• RQ3 다양한 이완 전략과 공성 수준의 전파자 설계가 수렴성과 확장성에 어떤 영향을 미치는가?
• RQ4 모델 문제에서 MGRIT를 사용하여 신경망 학습에 대해 기대할 수 있는 최대 속도 향상은 어느 정도인가?
• RQ5 다양한 네트워크 아키텍처와 솔버 설정이 MGRIT 접근법의 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• MGRIT는 학습 단계를 성공적으로 병렬화하고 기존의 순차적 학습과 동일한 해에 수렴함으로써 이론적 핵심 가정을 검증한다.
• Solver 2를 사용한 네 층 모델 문제에서 MGRIT는 12,800개의 학습 단계에서 최대 약 13배의 잠재적 속도 향상을 달성했으며, 반복 횟수는 느리게 증가했다.
• F-사이클 결과에서는 더 낮은 수준에서 α^(ℓ)를 점진적으로 증가시킬 경우(1.25^ℓ)에 안정성이 향상되어 고정된 α^(ℓ)를 사용했을 때 나타났던 열화 현상이 사라졌다.
• V-사이클 수렴 결과에서는 가장 큰 문제 크기(12,800단계)에서 약간의 설명되지 않은 열화가 관찰되었지만, 반복 횟수는 여전히 관리 가능했다.
• Solver 3는 모든 문제 크기에서 가장 뛰어난 성능을 보이며, 더 넓은 적용 가능성을 시사한다.
• 이 방법은 비침습적이며, 최소한의 수정으로 기존의 순차적 학습 코드에 적용 가능하여 현재 워크플로우에 즉각 통합할 수 있다.