[논문 리뷰] Deep Learning Theory Review: An Optimal Control and Dynamical Systems Perspective

Guan-Horng Liu, Evangelos A. Theodorou|arXiv (Cornell University)|2019. 08. 28.

Gaussian Processes and Bayesian Inference참고 문헌 107인용 수 47

한 줄 요약

이론적 설계는 dynamical systems와 mean-field optimal control를 통해 딥러닝을 프레이밍하고, DNN 전파 및 학습 역학을 안정성, 최적화 및 일반화와 연결한다.

ABSTRACT

Attempts from different disciplines to provide a fundamental understanding of deep learning have advanced rapidly in recent years, yet a unified framework remains relatively limited. In this article, we provide one possible way to align existing branches of deep learning theory through the lens of dynamical system and optimal control. By viewing deep neural networks as discrete-time nonlinear dynamical systems, we can analyze how information propagates through layers using mean field theory. When optimization algorithms are further recast as controllers, the ultimate goal of training processes can be formulated as an optimal control problem. In addition, we can reveal convergence and generalization properties by studying the stochastic dynamics of optimization algorithms. This viewpoint features a wide range of theoretical study from information bottleneck to statistical physics. It also provides a principled way for hyper-parameter tuning when optimal control theory is introduced. Our framework fits nicely with supervised learning and can be extended to other learning problems, such as Bayesian learning, adversarial training, and specific forms of meta learning, without efforts. The review aims to shed lights on the importance of dynamics and optimal control when developing deep learning theory.

연구 동기 및 목표

• 깊은 신경망을 이해하기 위한 통합적인 동적 시스템 및 최적 제어 프레임워크를 제공한다.
• mean-field 이론을 사용하여 DNN 층을 통한 정보 전파를 분석한다.
• 최적화 알고리즘을 컨트롤러로 재구성하여 학습을 최적 제어 문제로 공식화한다.
• 최적화 방법의 확률적 역학을 통해 수렴 및 일반화를 조사한다.
• 다른 학습 패러다임으로의 확장 및 아키텍처와 하이퍼파라미터 설계에 대한 함의를 논의한다.

제안 방법

• 레이어를 시간 스텝으로 삼아 DNN을 이산-시간 비선형 동적 시스템으로 모델링한다.
• 레이어 간 활성화 및 사전 활성화의 분포를 설명하기 위해 mean-field 이론을 사용하고 결정적 층별 역학을 도출한다.
• 정의하고 분석한다 안정성은 Jacobian-like 고유값(chi_q* 및 chi_c*)과 깊이 척도 xi_q* 및 xi_c*를 통해 순서형, 임계형, 혼란형 위상을 구분한다.
• 학습 역학을 mean-field Gram/NTK 표현과 연결하여 경사 기반 방법의 글로벌 수렴 조건을 보인다.
• mean-field 확장을 포함하여 DNN 학습을 최적 제어 문제로 공식화하고 Pontryagin의 최소 원리(PMP)와 역전파와의 연결을 도출한다.
• 동적 프로그래밍/HJB와의 연결을 논의하고 최적화 하이퍼파라미터를 제어 이론으로 최적화하는 방법을 제시한다.

실험 결과

연구 질문

• RQ1 DNN 학습과 정보 전파를 동적 시스템 프레임워크 내에서 어떻게 분석할 수 있는가?
• RQ2 훈련 가능성과 정보 흐름을 보장하는 초기화 및 깊이 조건은 무엇인가?
• RQ3 학습을 위한 최적화 알고리즘을 정확히 컨트롤러로 재구성하여 원칙에 기반한 설계를 가능하게 할 수 있는가?
• RQ4 mean-field 근사가 과대모수화 네트워크의 수렴 및 일반화 특성과 어떻게 연결되는가?
• RQ5 베이지안 학습, 적대적 학습, 메타 학습 등 다른 학습 패러다임으로 이 프레임워크를 확장하는 방법은 무엇인가?

주요 결과

• mean-field 분석은 활성화 및 사전 활성화에 대한 결정론적 층별 역학을 제공하여 정보 전파의 전역 특성을 가능하게 한다.
• 임계선을 가진 위상도는 순서형(안정적이고 학습 가능)과 혼돈형(불안정) 양상을 구분하는 위상 다이어그램을 구성하여 가중치 및 바이어스 분산의 함수로 학습 가능성을 예측한다.
• 광범위한 조건에서 과도하게 매개된 네트워크는 학습 중 초기화와 유사한 통계를 유지하여 Gram/NTK 역학과 연결된 글로벌 수렴 결과를 지지한다.
• Gram 행렬/NTK 관점은 NTK의 최소 고유값이 0에서 멀리 떨어져 경계될 때 충분히 큰 너비에서 글로벌 최솟값으로의 선형 수렴을 보여준다.
• 학습은 mean-field 최적 제어 문제로 공식화할 수 있어 PMP 및 HJB 기반 분석을 가능하게 하고 제어 이론으로부터 적응형 하이퍼파라미터 전략을 제시한다.
• 역전파는 PMP의 이산 시간 표현으로 나타나 동적 시스템 이론을 표준 신경망 학습 절차와 직접 연결한다.