[논문 리뷰] Accelerating Training in Artificial Neural Networks with Dynamic Mode Decomposition

Mauricio Tano, Gavin Portwood외 1명|arXiv (Cornell University)|2020. 06. 18.

Model Reduction and Neural Networks참고 문헌 11인용 수 4

한 줄 요약

이 논문은 각 레이어의 가중치 변화를 모델링하고 예측하기 위해 동적 모드 분해(DMD)를 사용하여 딥 네ural 네트워크(DNN) 학습을 가속화하는 방법을 제안한다. 이는 수렴한 가중치 상태를 근사함으로써 백프로파게이션 단계를 줄이는 데 목적이 있다. 반응성 오염물질 확산 회귀 과제에서 평균 제곱오차는 약 100배 감소하고 노이즈 감소 효과가 나타나, 전체 백프로파게이션 사이클 수를 줄이며 더 빠르고 안정적인 학습을 가능하게 한다.

ABSTRACT

Training of deep neural networks (DNNs) frequently involves optimizing several millions or even billions of parameters. Even with modern computing architectures, the computational expense of DNN training can inhibit, for instance, network architecture design optimization, hyper-parameter studies, and integration into scientific research cycles. The key factor limiting performance is that both the feed-forward evaluation and the back-propagation rule are needed for each weight during optimization in the update rule. In this work, we propose a method to decouple the evaluation of the update rule at each weight. At first, Proper Orthogonal Decomposition (POD) is used to identify a current estimate of the principal directions of evolution of weights per layer during training based on the evolution observed with a few backpropagation steps. Then, Dynamic Mode Decomposition (DMD) is used to learn the dynamics of the evolution of the weights in each layer according to these principal directions. The DMD model is used to evaluate an approximate converged state when training the ANN. Afterward, some number of backpropagation steps are performed, starting from the DMD estimates, leading to an update to the principal directions and DMD model. This iterative process is repeated until convergence. By fine-tuning the number of backpropagation steps used for each DMD model estimation, a significant reduction in the number of operations required to train the neural networks can be achieved. In this paper, the DMD acceleration method will be explained in detail, along with the theoretical justification for the acceleration provided by DMD. This method is illustrated using a regression problem of key interest for the scientific machine learning community: the prediction of a pollutant concentration field in a diffusion, advection, reaction problem.

연구 동기 및 목표

• 대규모 DNN 학습의 높은 계산 비용 문제를 해결하기 위해, 특히 초모수 및 아키텍처 튜닝이 필수적인 과학적 머신 러닝 환경에서의 적용을 목적으로 한다.
• 복잡한 회귀 문제, 예를 들어 오염물질 확산 모델링과 같은 과제에서 DNN 학습 시 느린 수렴과 노이즈가 많은 가중치 역동성을 해결하고자 한다.
• 전체 백프로파게이션 반복에 의존하는 것보다 낮은 비용으로 데이터 기반의 저비용 방법을 개발하여 수렴한 가중치 상태를 예측하고자 한다.
• 학습 시간을 크게 줄임으로써 DNN 아키텍처의 더 빠른 프로토타이핑 및 최적화를 가능하게 하되, 정확도를 유지하거나 향상시키고자 한다.
• 선형 SVD 대신 비선형 다양체 표현을 DMD에 도입함으로써 가중치 변화 역동성을 더 잘 포착할 수 있는지 탐색하고자 한다.

제안 방법

• 각 레이어에서 초기 몇 단계의 백프로파게이션을 통해 가중치 변화의 주요 방향을 파악하기 위해 적절한 직교 분해(POD)를 사용한다.
• 주요 방향을 따라 가중치의 시간 역동성을 모델링하기 위해 동적 모드 분해(DMD)를 적용하며, 이는 가중치 변화의 저랭크 근사 모델을 학습한다.
• DMD 모델은 단일 평가 후에 약간의 수렴한 가중치 상태를 예측하며, 이로 인해 해당 단계에 대한 전체 백프로파게이션를 생략할 수 있다.
• DMD 예측 상태에서 몇 번의 전체 백프로파게이션 단계를 거친 후, 주요 방향과 DMD 모델을 반복적으로 갱신하여 예측 정확도를 향상시킨다.
• DMD 기반 예측과 짧은 백프로파게이션 단계를 번갈아 수행함으로써 총 연산 수를 줄이면서도 수렴성을 유지한다.
• 이 방법은 텐서플로우 기반 학습 파이프라인에 통합되었으며, GPU 가속을 통해 추가로 월 타임을 줄일 수 있다.

실험 결과

연구 질문

• RQ1 DMD는 DNN 학습 중 가중치 변화의 저랭크 역동성을 효과적으로 모델링할 수 있는가?
• RQ2 DMD로 예측한 수렴한 가중치 상태는 DNN 학습에서 요구되는 백프로파게이션 단계 수를 얼마나 줄일 수 있는가?
• RQ3 회귀 과제에서 표준 백프로파게이션 대비 DMD 기반 가속화는 수렴 속도 향상과 노이즈 감소 측면에서 어떻게 비교되는가?
• RQ4 DMD는 고감도이고 고차원적인 과학 문제에서 학습되는 DNN의 안정성 향상과 오차 감소에 기여할 수 있는가?
• RQ5 DMD의 선형 SVD를 비선형 다양체 표현으로 대체할 경우, 가중치 변화 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• DMD 기반 방법은 표준 백프로파게이션 대비 학습 중 평균 제곱오차를 약 100배 감소시켰다.
• 스토케스틱한 노이즈가 내재된 Adam 최적화기의 노이즈 외에도 가중치 궤적에서 뚜렷한 노이즈 감소 효과가 관찰되었다.
• 수렴에 도달하기 위해 필요한 전체 백프로파게이션 단계 수를 줄임으로써 상당한 계산 절감 효과를 달성했다.
• 초기 몇 단계의 백프로파게이션을 통해 역동성을 校정한 후 DMD 모델은 매우 정확하게 수렴한 가중치 상태를 예측할 수 있었다.
• 이 방법은 특히 고감도 입력을 가진 어려운 반응성 오염물질 확산 회귀 문제에서 더 빠른 학습과 향상된 안정성을 가능하게 했다.
• 향후 연구에서는 DMD의 선형 SVD를 비선형 다양체 표현으로 대체함으로써 더 오랜 학습 시퀀스 동안 예측 정확도를 향상시키고 오차를 줄일 수 있을 것으로 기대된다.