[논문 리뷰] Neural Stochastic Differential Equations.

Stefano Peluchetti, Stefano Favaro|arXiv (Cornell University)|2019. 05. 27.

Neural Networks and Applications인용 수 2

한 줄 요약

이 논문은 무한히 깊은 잔차 신경망과 확률적 미분 방정식(SDEs) 사이의 연결을 수립하며, 이러한 네트워크가 수렴함으로써 연속 시간 확산 과정으로 이르게 되어 기울기 소실 및 병리적인 함수 가족을 피함을 보여준다. 주요 기여는 깊이 학습 동역학을 SDEs와 연결하는 이론적 프레임워크를 제공함으로써 무한 깊이 근처에서 잘 조율되고 표현력 있는 표현을 가능하게 한다.

ABSTRACT

Deep neural networks whose parameters are distributed according to typical initialization schemes exhibit undesirable properties that can emerge as the number of layers increases. These issues include a vanishing dependency on the input and a concentration on restrictive families of functions including constant functions. We address these problems by considering the limit of infinite total depth and examine the conditions under which we achieve convergence to well-behaved continuous-time processes. Doing so we establish the connection between infinitely deep residual networks and solutions to stochastic differential equations, i.e. diffusion processes. We show that deep neural networks satisfying such connection don't suffer from the mentioned pathologies and analyze the SDE limits to shed light on their behavior.

연구 동기 및 목표

• 매우 깊은 신경망에서 발생하는 병리적인 행동, 예를 들어 입력에 대한 의존성 감소와 상수 함수로의 집중을 해결하기 위해.
• 깊이가 무한에 가까워질 때 잔차 신경망의 극한을 조사하며, 연속 시간 동역학의 부상에 초점을 맞춤.
• 무한 깊이 영역에서 잔차 신경망과 확률적 미분 방정식(SDEs)을 연결하는 이론적 기반을 구축하기 위해.
• 수렴하는 SDE 극한을 분석하여 이러한 네트워크의 기능적 행동과 표현력을 이해하기 위해.
• 표준 초기화 방법을 사용하는 유한 깊이 아키텍처에서 관찰되는 병리적 현상들을 SDE 기반 네트워크가 피할 수 있음을 보여주기 위해.

제안 방법

• 층 수가 무한에 가까워질 때 잔차 신경망의 극한을 분석하며, 네트워크 깊이를 연속 변수로 간주함.
• 잔차 블록 갱신을 이토 미적분을 사용한 공식 유도를 통해 확률적 미분 방정식(SDEs)의 이산 시간 근사로 모델링함.
• 연속 극한에서 잘 정의된 확산 과정을 이끌어내는 매개변수 초기화 방법을 고려하여 안정성을 확보함.
• SDE 이론을 적용하여 네트워크 출력 분포와 입력 의존성의 극한 행동을 특성화함.
• 연속 극한에서 은닉 상태의 확률 밀도의 시간 진화를 분석하기 위해 포커-플랭크 방정식을 사용함.
• 적절한 조건 하에서 네트워크의 동역학이 탈퇴하지 않는 확산 과정으로 수렴함을 입증함으로써 상수 함수로의 붕괴를 피함.

실험 결과

연구 질문

• RQ1 표준 초기화 방법 하에서 깊이가 무한에 가까워질 때 깊은 잔차 신경망의 행동은 어떻게 되는가?
• RQ2 무한 깊이 잔차 신경망의 동역학은 연속 시간 확률 과정으로 기술될 수 있는가?
• RQ3 잔차 신경망의 SDE 기반 극한은 기존의 유한 깊이 네트워크에서 관찰되는 입력 의존성 감소와 상수 함수로의 집중을 피할 수 있는가?
• RQ4 어떤 초기화 및 네트워크 아키텍처 조건이 잘 조율된 확산 과정으로의 수렴을 보장하는가?
• RQ5 SDE 극한에서 네트워크의 기능적 표현력은 유한 깊이 대비 어떻게 변화하는가?

주요 결과

• 적절한 초기화 하에서 무한 깊이 잔차 신경망은 병리적인 행동을 피하면서 SDE의 해로 수렴함.
• 극한 SDE는 탈퇴하지 않고 비상수 행동을 보이며, 이는 네트워크가 입력에 대해 의미 있는 의존성을 유지함을 보장함.
• 네트워크의 출력 분포는 포커-플랭크 방정식에 따라 진화하며, 은닉 상태의 시간에 따라 변하는 밀도를 특성화함.
• SDE 극한은 깊이가 무한히 증가하더라도 네트워크가 상수 함수로 붕괴되지 않음을 보장함.
• SDE와의 연결은 매우 깊은 네트워크의 향상된 표현력과 안정성에 대한 이론적 설명을 제공함.
• 이 프레임워크는 표준 초기화 방법이 유한 깊이에서는 병리적 행동을 유도할 수 있지만, SDE 수렴을 통해 무한 깊이 근처에서 안정화됨을 드러냄.