[논문 리뷰] Predict Globally, Correct Locally: Parallel-in-Time Optimal Control of Neural Networks

Panos Parpas, Corey Muir|arXiv (Cornell University)|2019. 02. 07.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 11

한 줄 요약

이 논문은 잔차 신경망을 동적 시스템에서 이산 시간 단위로 모델링하여 병렬 시간 최적 제어 방법을 제안한다. 다중 수준 이산화와 전역 예측 단계를 통한 공-State 근사 기법을 사용함으로써 층 단위 병렬성을 실현하며, 데이터 병렬 SGD보다 높은 속도 향상과 효율성을 달성한다. 이는 이전 방법보다 더 약한 조건에서도 유사한 정확도와 수렴 보장을 확보한다.

ABSTRACT

The links between optimal control of dynamical systems and neural networks have proved beneficial both from a theoretical and from a practical point of view. Several researchers have exploited these links to investigate the stability of different neural network architectures and develop memory efficient training algorithms. We also adopt the dynamical systems view of neural networks, but our aim is different from earlier works. We exploit the links between dynamical systems, optimal control, and neural networks to develop a novel distributed optimization algorithm. The proposed algorithm addresses the most significant obstacle for distributed algorithms for neural network optimization: the network weights cannot be updated until the forward propagation of the data, and backward propagation of the gradients are complete. Using the dynamical systems point of view, we interpret the layers of a (residual) neural network as the discretized dynamics of a dynamical system and exploit the relationship between the co-states (adjoints) of the optimal control problem and backpropagation. We then develop a parallel-in-time method that updates the parameters of the network without waiting for the forward or back propagation algorithms to complete in full. We establish the convergence of the proposed algorithm. Preliminary numerical results suggest that the algorithm is competitive and more efficient than the state-of-the-art.

연구 동기 및 목표

• 분산 딥 러닝에서 순차적 전파 및 역전파의 병목 현상을 해결하기 위해.
• 잔차 신경망의 동적 시스템 해석을 활용해 신경망 훈련에서 진정한 층 단위 병렬성을 가능하게 하기 위해.
• 완전한 전파 및 역전파를 기다리지 않는 분산 최적화 알고리즘을 개발하기 위해.
• 기존 합성 그래디언트 접근법보다 더 약한 가정 조건에서도 수렴을 보장하기 위해.
• 특히 대규모 모델에서 깊은 네트워크에 대해 높은 병렬 효율성과 속도 향상을 달성하기 위해.

제안 방법

• 잔차 신경망을 이산 시간 최적 제어 문제로 모델링하며, 층은 동적 시스템의 시간 단위에 해당한다.
• 전역 예측 단계에서 군집 이산화를 사용하여 네트워크 전반에 걸친 최적 상태 및 공-State(연역)를 근사한다.
• 세부 이산화를 사용해 예측된 상태 및 공-State를 국소 보정 단계에서 정밀화함으로써 병렬 업데이트를 가능하게 한다.
• 에일러 및 베르레트 방법과 같은 다중 수준 시간 이산화 기법을 활용해 공-State 추정을 가속화하고 전체 역전파에 대한 의존도를 감소시킨다.
• 시간(층) 기반으로 네트워크를 분할하고, 연역 기반 기울기 근사 기법을 사용해 하위 시스템을 병렬로 최적화한다.
• 역전파 단계에서 공-State 추정을 보정하기 위해 회귀 단계를 통합함으로써 정확도와 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 심층 신경망에서 순차적 전파 및 역전파의 특성을 동적 시스템 해석을 통해 극복할 수 있는가?
• RQ2 최적 제어 이론을 활용해 정확도 손실을 최소화하면서 잔차 신경망의 병렬 시간 훈련을 가능하게 할 수 있는가?
• RQ3 전역 예측과 국소 보정을 포함한 다중 수준 이산화 체계가 합성 그래디언트 방법보다 수렴성과 효율성 면에서 향상되는가?
• RQ4 공-State 근사 품질이 분산 환경에서 훈련 안정성과 속도 향상에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 다양한 네트워크 깊이와 데이터셋에서 속도 향상과 병렬 효율성 측면에서 어떻게 스케일링되는가?

주요 결과

• 제안된 방법은 깊은 네트워크(예: 32층 이상)에서 데이터 병렬 SGD와 유사하거나 뛰어난 속도 향상을 달성하며, MNIST 및 스위스롤 데이터셋에서 75% 이상의 병렬 효율성을 확보했다.
• 스위스롤 데이터셋에서 32~64층의 네트워크에서 데이터 병렬 SGD보다 빠른 속도를 기록했으며, 깊이가 증가할수록 속도 향상이 더욱 두드러졌다.
• 역전파 단계의 회귀 단계에서의 평균 제곱 오차는 전역 예측 단계를 도입함으로써 한 계급 수준 감소했으며, 0으로 수렴함으로써 방법의 안정성과 수렴 가정의 타당성을 검증했다.
• 다중 수준 베르레트 이산화 체계는 MNIST 및 합성 데이터셋 결과를 통해 확률적 경사 하강법과 유사한 정확도를 확보했다.
• 제안된 방법의 병렬 효율성(75%)은 기존 병렬 시간 방법(예: Günther 등, 2018년의 3–4%)과 비교해 뚜렷이 높으며, Huo 등(2018)에서 보고한 50%의 효율성보다도 뛰어나다.
• 수치 결과는 제안된 방법이 최신 기술 수준과 경쟁 가능하며, 모델 깊이가 증가함에 따라 군집 모델 해법의 상대적 비용이 감소함에 따라 성능이 향상됨을 보여주었다.