[논문 리뷰] Deep Learning via Dynamical Systems: An Approximation Perspective

Qianxiao Li, Ting Lin외 1명|arXiv (Cornell University)|2019. 12. 22.

Model Reduction and Neural Networks인용 수 12

한 줄 요약

이 논문은 연속시간 딥 리미널 네트워크를 동역학계로 모델링하여, 미세한 조건 하에서 $L^p$에서 임의의 가측 함수를 유니버설 근사할 수 있음을 보여주는 연속시간 딥 리미널 네트워크에 대한 유니버설 근사 정리를 수립한다. 근사에 필요한 조건을 제시하고 시간 영역에 따라 변화하는 수렴 속도를 도출함으로써, 딥 러닝을 동역학계 관점에서 이해하기 위한 새로운 이론적 프레임워크를 제공한다.

ABSTRACT

We build on the dynamical systems approach to deep learning, where deep residual networks are idealized as continuous-time dynamical systems, from the approximation perspective. In particular, we establish general sufficient conditions for universal approximation using continuous-time deep residual networks, which can also be understood as approximation theories in $L^p$ using flow maps of dynamical systems. In specific cases, rates of approximation in terms of the time horizon are also established. Overall, these results reveal that composition function approximation through flow maps present a new paradigm in approximation theory and contributes to building a useful mathematical framework to investigate deep learning.

연구 동기 및 목표

• 연속시간 리미널 네트워크를 동역학계로 분석함으로써 딥 러닝의 이론적 기반을 구축한다.
• 동역학계의 플로우 맵이 $L^p$ 공간에서 함수를 유니버설하게 근사할 수 있는 충분조건을 수립한다.
• 이러한 시스템에 대해 시간 영역에 따라 수량화된 근사 속도를 유도한다.
• 연속시간 모델을 통해 딥 러닝의 함수 조합 메커니즘과 근사 이론을 연결한다.

제안 방법

• 일반 미분방정식을 통해 딥 리미널 네트워크를 연속시간 동역학계로 모델링한다.
• 가설 공간을 주어진 함수 집합 $\mathcal{F}$의 벡터장이 생성하는 플로우 맵의 집합으로 정의한다.
• 컨트롤러블리티와 밀도 추론을 활용하여 목표 함수의 근사를 위해 플로우 맵의 조합을 구성한다.
• 제어 이론과 미분방정식의 결과를 적용하여 근사 성질을 증명한다.
• 유니버설 근사를 확립하기 위해 유한한 입력-출력 쌍 집합 간에 보간할 수 있는 플로우 맵을 구성한다.
• 오차 한계의 시간 영역 의존성 분석을 통해 $L^p$ 노름에서 오차의 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 연속시간 동역학계의 플로우 맵이 $L^p$에서 임의의 가측 함수를 유니버설하게 근사할 수 있는 조건는 무엇인가?
• RQ2 동역학계의 시간 영역이 $L^p$에서의 근사 오차에 어떤 영향을 미치는가?
• RQ3 주어진 벡터장 가족에서 유도된 플로우 맵의 조합이 임의의 함수를 임의로 정밀하게 근사할 수 있는가?
• RQ4 벡터장 가족 $\mathcal{F}$의 구조가 유도되는 플로우 맵의 근사 능력에 어떤 역할을 하는가?
• RQ5 시스템의 컨트롤러블리티는 네트워크의 근사 능력과 어떻게 연결될 수 있는가?

주요 결과

• 벡터장 가족 $\mathcal{F}$가 조밀성과 합성에 대한 닫힘성을 포함한 미세한 조건을 만족할 경우, 연속시간 리미널 네트워크에서 $L^p$에서의 유니버설 근사가 달성된다.
• 논문은 $\mathcal{F}$가 충분히 풍부할 경우, $L^p$에 속한 임의의 가측 함수가 $\mathcal{F}$에 속한 벡터장에 의해 지배되는 동역학계의 플로우 맵으로 임의로 정밀하게 근사될 수 있음을 보였다.
• 시간 영역 $T$에 따라 근사 속도를 유도하였으며, 적절한 정규성 가정 하에서 오차가 $O(1/T)$로 감소함을 보였다.
• 유한한 입력-출력 쌍 집합 간에 임의의 정밀도로 보간할 수 있는 플로우 맵의 수열에 기반한 구성이 이루어졌다.
• 결과는 플로우 맵을 통한 조합이 특히 딥 러닝 모델에 대해 근사 이론의 새로운 범주를 제공한다는 것을 드러냈다.
• 이 프레임워크는 $L^p$ 수렴을 통해 딥 러닝, 동역학계, 근사 이론을 엄밀한 수학적 기반으로 연결해 주었다.