[논문 리뷰] Deep Limits of Residual Neural Networks

Matthew Thorpe, Yves van Gennip|arXiv (Cornell University)|2018. 10. 28.

Model Reduction and Neural Networks인용 수 15

한 줄 요약

이 논문은 깊이가 깊어질수록 잔차 신경망의 연속체 역학계에 대한 변분 수렴을 보여주며, 이는 깊이가 깊어질수록 잔차 신경망의 최적 파라미터가 수렴함을 보여주는 이론적 기초를 제공한다. 이는 깊이가 깊어질수록 잔차 신경망이 비선형 상미분방정식(ODE)의 매개변수 추정 문제로 수렴함을 보여주며, 이는 Gamma-수렴을 통해 이산 잔차 신경망과 연속 동역학계를 엄밀하게 연결한다.

ABSTRACT

Neural networks have been very successful in many applications; we often, however, lack a theoretical understanding of what the neural networks are actually learning. This problem emerges when trying to generalise to new data sets. The contribution of this paper is to show that, for the residual neural network model, the deep layer limit coincides with a parameter estimation problem for a nonlinear ordinary differential equation. In particular, whilst it is known that the residual neural network model is a discretisation of an ordinary differential equation, we show convergence in a variational sense. This implies that optimal parameters converge in the deep layer limit. This is a stronger statement than saying for a fixed parameter the residual neural network model converges (the latter does not in general imply the former). Our variational analysis provides a discrete-to-continuum $Γ$-convergence result for the objective function of the residual neural network training step to a variational problem constrained by a system of ordinary differential equations; this rigorously connects the discrete setting to a continuum problem.

연구 동기 및 목표

• 깊이가 깊어질 때 이산 잔차 신경망을 연속 동역학계와 엄밀하게 연결하는 것.
• 깊이가 증가함에 따라 잔차 신경망의 최적 파라미터가 수렴함을 보장함으로써, 점별 수렴을 넘어서는 것.
• 잔차 신경망의 훈련 목표의 한계 행동을 이해하기 위한 변분 프레임워크—특히 Gamma-수렴—제공.
• 잔차 신경망의 ODE 해석이 연속체 근사로 타당함을 보장함으로써, 네트워크 행동의 이론적 분석을 지원함.
• 미래의 PDE 근사 및 깊이 신경망에서의 암묵적 정규화 분석을 위한 기초 마련.

제안 방법

• Haber & Ruthotto(2017)의 모델를 수정하여 잔차 신경망을 연속 ODE 시스템의 이산 시간 이산화로 공식화.
• 훈련 목표 함수에 Gamma-수렴을 적용하여, ODE 시스템에 의해 제약된 변분 문제로 수렴함을 보임.
• 공통 활성화 함수와 계층별 가중치 및 편향을 가진 함수의 가속화된 가족을 사용하며, 균일 유계성과 Lipschitz 연속성 가정.
• 콤���트성과 하부 연속성에 기반한 하향 수열 추출 및 균일 수렴 논증을 통해 최소화자의 수렴을 증명.
• 임의의 최소화자 수열이 제한 기능의 유일한 최소화자로 균일 수렴함을 확립.
• 층 수 $n$에 비례하여 시간 간격을 $1/n$으로 스케일링하는 이산-연속 근사로 연속 제어 함수 $K(t), b(t)$ 정의.

실험 결과

연구 질문

• RQ1 깊이가 깊어질수록 잔차 신경망의 훈련 목표가 잘 정의된 연속체 문제로 수렴하는가?
• RQ2 깊이가 깊어질 때 잔차 신경망의 최적 파라미터가 네트워크 출력 뿐 아니라 수렴함을 보일 수 있는가?
• RQ3 특히 Gamma-수렴을 포함한 변분 프레임워크가 잔차 신경망의 ODE 해석을 정당화할 수 있는가?
• RQ4 파라미터 수렴이 제한 문제에서 ODE 제약의 구조와 어떻게 관련되는가?
• RQ5 이 수렴의 결과가 새로운 신경망 아키텍처의 설계 및 분석에 미치는 영향은 무엇인가?

주요 결과

• 잔차 신경망 훈련 목표의 깊이 근사에서 변분 수렴이 비선형 ODE 시스템을 포함하는 제약된 변분 문제로 수렴함.
• 최적의 네트워크 파라미터—가중치 $K_i$, 편향 $b_i$, 최종 계층 파라미터—는 깊이 $n \to \infty$일 때 연속 제어 함수로 균일 수렴함.
• 제한 문제에서는 비선형 ODE의 매개변수 추정 문제와 동치이며, 깊이 잔차 신경망의 엄밀한 수학적 해석을 제공함.
• 수렴은 Gamma-수렴 프레임워크를 통해 확립되었으며, 이는 이산 문제의 최소화자가 연속 문제의 최소화자로 수렴함을 보장함.
• 증명은 콤팩트성 논증과 하향 수열 추출에 기반하며, 궁극적으로 전체 최소화자 수열이 균일 수렴함을 보임.
• 이 결과는 잔차 신경망이 ODE 이산화에 유사하다는 이전 관찰을 강화하며, 네트워크 출력 뿐 아니라 최적 파라미터의 수렴을 증명함으로써 더 강력한 이론적 기초를 제공함.