[논문 리뷰] Selection dynamics for deep neural networks

Hailiang Liu, Peter A. Markowich|arXiv (Cornell University)|2019. 05. 22.

Model Reduction and Neural Networks참고 문헌 58인용 수 7

한 줄 요약

이 논문은 너비와 깊이에 대한 연속극한을 취하여 딥 리미널 네트워크의 부분미분방정식(PDE) 프레임워크를 제안하며, 이를 통해 전방 전파, 잘 정의된 문제, 안정성, 정 steady-state 행동에 대한 엄밀한 수학적 분석이 가능해진다. 최적 제어 이론, 변분법, 그리고 본트랴긴 최대원리( Pontryagin maximum principle )를 활용하여 역학습 문제의 최적성 조건을 수립함으로써, 딥 러닝을 동역학계, PDE 이론, 최적 제어 이론과 통합하는 새로운 PDE 기반 기초를 제공한다. 이는 기존 백프로파게이션을 초월하여 수치적 안정성 향상과 알고리즘 설계 향상에 기여할 잠재력을 지닌다.

ABSTRACT

This paper presents a partial differential equation framework for deep residual neural networks and for the associated learning problem. This is done by carrying out the continuum limits of neural networks with respect to width and depth. We study the wellposedness, the large time solution behavior, and the characterization of the steady states of the forward problem. Several useful time-uniform estimates and stability/instability conditions are presented. We state and prove optimality conditions for the inverse deep learning problem, using standard variational calculus, the Hamilton-Jacobi-Bellmann equation and the Pontryagin maximum principle. This serves to establish a mathematical foundation for investigating the algorithmic and theoretical connections between neural networks, PDE theory, variational analysis, optimal control, and deep learning.

연구 동기 및 목표

• 너비와 깊이에 대한 연속극한을 활용하여 딥 리미널 신경망에 대한 엄밀한 수학적 프레임워크를 개발한다.
• 네트워크 동역학을 지배하는 전방 PDE 문제의 잘 정의됨, 장기적 행동 및 정상상태 해의 성질을 분석한다.
• 변분법과 본트랴진 최대원리를 활용하여 역딥러닝 문제의 최적성 조건을 수립한다.
• 전통적인 경사하강법을 제어이론 기반 접근으로 대체하여, 매개변수 최적화를 위한 연속된 전방-역방향 PDE를 이끌어낸다.
• PDE 이산화를 통해 기존의 표준 명시적 오일러 스킴과 다른 네트워크 아키텍처를 생성하는 새로운 수치 알고리즘을 가능하게 한다.

제안 방법

• 너비와 깊이 양쪽에 대해 연속극한을 취하여 딥 리미널 네트워크의 PDE 모델을 유도하며, 은닉 유닛의 동역학을 기술한다.
• 전방 문제를 시간에 따라 변화하는 PDE로 공식화한다: ∂ₜf = σ(a − B_b f), 초기 조건 f(t=0) = f_I.
• 수반 동역학을 통한 역방 문제 정의: ∂ₜr = B_b^T σ′(a − B_b f) r, 종단 조건 r(T) = f̃ − f(T).
• 하밀턴-자코비-벨리만 방정식과 본트랴진 최대원리를 적용하여 학습 문제의 필요 최적성 조건을 유도한다.
• 두 가지 알고리즘 제안: 그래디언트 기반 최적화 없이도 손실 기능의 단조 감소를 보장하는 프록시 반복 최소화(PAM) 방법, 그리고 하밀토니안 최대화 기반의 순차적 근사 방법.
• 전방-역방향 PDE의 수치적 이산화를 통해 표준 계층별 스킴과 다른 네트워크 아키텍처를 생성한다.

실험 결과

연구 질문

• RQ1 너비와 깊이 양쪽에 대한 연속극한을 통해 딥 리미널 네트워크의 연속극한을 어떻게 공식화할 수 있으며, 이를 통해 네트워크 동역학의 PDE 기반 모델을 어떻게 도출할 수 있는가?
• RQ2 유도된 전방 PDE 시스템의 잘 정의됨, 안정성, 장기적 행동 성질은 무엇인가?
• RQ3 변분법과 본트랴진 최대원리를 활용하여 역학습 문제를 어떻게 최적 제어 문제로 재구성할 수 있는가?
• RQ4 PDE 시스템의 하밀토니안 구조에서 유도된 네트워크 매개변수에 대한 필수 최적성 조건은 무엇인가?
• RQ5 PDE 기반 이산화를 통해 기존 백프로파게이션과 명시적 오일러 스킴을 초월한 새로운 네트워크 아키텍처와 향상된 훈련 알고리즘을 도출할 수 있는가?

주요 결과

• PDE 프레임워크는 너비와 깊이에 대한 연속극한을 통해 딥 리미널 네트워크의 통합된 수학적 처리를 가능하게 하며, 은닉 유닛 간의 내재된 선택 동역학을 드러낸다.
• 적절한 조건 하에서 전방 PDE 문제는 잘 정의되어 있으며, 시간에 관계없이 일관된 추정과 해 동역학의 안정성/불안정성 기준이 확립되어 있다.
• 역학습 문제의 최적성 조건은 본트랴진 최대원리를 통해 도출되며, 하밀토니안 기반 최적화 프레임워크를 이끌어낸다.
• 제안된 PAM 알고리즘은 임의의 양수 단위 간격 τ에 대해 손실 기능의 단조 감소를 보장하며, 기존 경사하강법보다 향상된 수렴 보장을 제공한다.
• 하밀토니안 최대화 알고리즘은 계층 간 최적화를 분리하여 병렬 처리를 가능하게 하며, 백프로파게이션을 피할 수 있고, 하밀토니안 추정을 통한 명시적 오차 제어가 가능하다.
• 전방-역방향 PDE의 이산화로 인해 표준 명시적 오일러 기반 훈련과 다른 네트워크 아키텍처가 도출되며, 딥 러닝을 위한 새로운 알고리즘적 길을 제시한다.