[논문 리뷰] Mean-Field Neural ODEs via Relaxed Optimal Control

Jean-François Jabir, David Šiška외 1명|arXiv (Cornell University)|2019. 12. 11.

Model Reduction and Neural Networks참고 문헌 74인용 수 14

한 줄 요약

이 논문은 확률적 경사하강법으로 훈련된 베이지안 신경 ODE를 분석하기 위해 이완 최적 제어를 사용하는 평균장 신경 ODE 프레임워크를 제안한다. 폴트리아진의 최적성 원리를 유도하고 평균장 랑주비안 역학(MFLD)을 연구함으로써, 시간 이산화된 MFLD에 대해 치수에 의존하지 않는 수렴 속도를 확립하고 학습률, 모델 크기, 훈련 데이터를 바탕으로 일반화 오차를 정량화하며, 연속 시간 및 측도 공간에서의 딥러닝을 위한 엄밀한 이론적 기반을 제공한다.

ABSTRACT

We develop a framework for the analysis of deep neural networks and neural ODE models that are trained with stochastic gradient algorithms. We do that by identifying the connections between control theory, deep learning and theory of statistical sampling. We derive Pontryagin's optimality principle and study the corresponding gradient flow in the form of Mean-Field Langevin dynamics (MFLD) for solving relaxed data-driven control problems. Subsequently, we study uniform-in-time propagation of chaos of time-discretised MFLD. We derive explicit convergence rate in terms of the learning rate, the number of particles/model parameters and the number of iterations of the gradient algorithm. In addition, we study the error arising when using a finite training data set and thus provide quantitive bounds on the generalisation error. Crucially, the obtained rates are dimension-independent. This is possible by exploiting the regularity of the model with respect to the measure over the parameter space.

연구 동기 및 목표

• 확률적 경사 알고리즘으로 훈련된 베이지안 신경 ODE를 분석하기 위한 이론적 프레임워크를 개발하는 것.
• 측도값 역학의 관점에서 딥러닝, 최적 제어 이론, 통계적 샘플링을 연결하는 것.
• 시간 이산화된 평균장 랑주비안 역학(MFLD)에 대해 시간에 관계없이 일관된 혼돈의 전파를 확립하는 것.
• 학습률, 입자 수, 반복 횟수에 따라 MFLD의 명시적이고 치수에 의존하지 않는 수렴 속도를 도출하는 것.
• 평균장 한계에서 유한한 훈련 데이터 세트로 인해 발생하는 일반화 오차의 정량적 경계를 설정하는 것.

제안 방법

• 학습된 최적의 신경 ODE 가중치를 확률측도 공간에서의 이완 최적 제어 문제로 공식화한다.
• 유도된 평균장 제어 문제에 대해 폴트리아진의 최적성 원리를 도출한다.
• 확률측도 공간에서의 평균장 랑주비안 역학(MFLD) 형태의 경사 하강을 분석한다.
• 오차를 통제할 수 있는 시간 이산화 근사화를 위해 확률적 수치해석 기법을 적용한다.
• 매개변수 공간에 대한 측도에 대한 모델의 정규성 조건을 활용하여 치수에 의존하지 않는 수렴 속도를 달성한다.
• 혼돈의 전파와 샘플링 오차를 제어하기 위해 리프시츠 연속성과 모멘트 유계 조건에 대한 가정을 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 신경 ODE의 훈련을 어떻게 확률측도 공간에서의 이완 최적 제어 문제로 프레임화할 수 있는가?
• RQ2 평균장 한계에서 시간 이산화된 평균장 랑주비안 역학(MFLD)의 수렴 성질은 어떠한가?
• RQ3 학습률, 입자 수, 반복 횟수에 따라 MFLD에 대해 치수에 의존하지 않는 수렴 속도를 도출할 수 있는가?
• RQ4 평균장 영역에서 유한한 훈련 데이터 세트로 인해 발생하는 일반화 오차의 정량적 경계는 무엇인가?
• RQ5 MFLD 근사에서 시간에 관계없이 혼돈의 전파가 어떻게 행동하는가?

주요 결과

• 논문은 시간 이산화된 평균장 랑주비안 역학(MFLD)에 대해 학습률, 입자 수(모델 크기), 반복 횟수에 명시적으로 의존하는 치수에 의존하지 않는 수렴 속도를 도출한다.
• 시간 이산화된 MFLD에 대해 시간에 관계없이 일관된 혼돈의 전파를 확립하여, 입자들의 경험 측도가 시간이 지남에 따라 진짜 측도로 수렴함을 보장한다.
• 유한한 훈련 데이터 세트로 인한 일반화 오차는 크기의 의존성에 따라 정량적으로 경계가 설정되어 있다.
• 모델이 매개변수 공간에 대한 측도에 대해 정규성 가정을 만족할 경우, 치수에 의존하지 않는 수렴 속도가 유도된다.
• 분석 결과는 노이즈가 있는 경사 하강 알고리즘이 매개변수에 대한 최적 분포에서 샘플링을 수행함을 확인하여, 베이지안 신경 ODE 관점에 대한 지원을 제공한다.
• 확률적 수치해석과 말리아빈 미적분 기법을 통해 이론적 경계를 도출하였으며, 시간 이산화와 샘플링 노이즈를 포함한 명시적 오차 항이 존재한다.