[논문 리뷰] Universal Approximation Power of Deep Residual Neural Networks via Nonlinear Control Theory

Paulo Tabuada, Bahman Gharesifard|arXiv (Cornell University)|2020. 07. 12.

Model Reduction and Neural Networks참고 문헌 33인용 수 21

한 줄 요약

이 논문은 깊이 있는 잔차 신경망을 앙상블 제어 시스템으로 모델링하고 기하 제어 이론을 적용하여 깊이 있는 잔차 신경망의 보편적 근사 능력을 확립한다. 특정 활성화 함수를 사용할 경우, 이러한 네트워크는 훈련 데이터를 정확히 기억하고 컴acts 집합 위에서 임의의 정확도로 연속 함수를 근사할 수 있으며, 필요한 뉴런 수에 대한 최적의 경계를 제공한다.

ABSTRACT

In this paper, we explain the universal approximation capabilities of deep residual neural networks through geometric nonlinear control. Inspired by recent work establishing links between residual networks and control systems, we provide a general sufficient condition for a residual network to have the power of universal approximation by asking the activation function, or one of its derivatives, to satisfy a quadratic differential equation. Many activation functions used in practice satisfy this assumption, exactly or approximately, and we show this property to be sufficient for an adequately deep neural network with $n+1$ neurons per layer to approximate arbitrarily well, on a compact set and with respect to the supremum norm, any continuous function from $\mathbb{R}^n$ to $\mathbb{R}^n$. We further show this result to hold for very simple architectures for which the weights only need to assume two values. The first key technical contribution consists of relating the universal approximation problem to controllability of an ensemble of control systems corresponding to a residual network and to leverage classical Lie algebraic techniques to characterize controllability. The second technical contribution is to identify monotonicity as the bridge between controllability of finite ensembles and uniform approximability on compact sets.

연구 동기 및 목표

• 비선형 제어 이론의 도구를 사용하여 깊이 있는 잔차 신경망의 보편적 근사 능력을 확립하기.
• 이전 연구에서 넓이가 무한대인 네트워크에 국한된 한계를 해결하기 위해, 넓이가 유한한 깊이 있는 네트워크에 초점을 맞추기.
• 각각의 샘플 포인트를 초기 상태로 삼고 가중치를 제어 입력으로 사용하여, 깊이 있는 잔차 신경망을 앙상블 제어 시스템으로 모델링하기.
• 샘플 포인트의 열린 밀도 부분다양체에서의 가역성을 보장하는 활성화 함수를 규명하기.
• 보편적 근사에 필요한 뉴런 수에 대한 최적의 경계를 유도하기.

제안 방법

• 훈련 데이터의 기억을 앙상블 비선형 제어 시스템의 가역성 문제로 재구성하기.
• 각 잔차 신경망 레이어를 가중치를 제어 입력으로, 샘플 포인트를 초기 상태로 삼는 제어 시스템으로 모델링하기.
• 기하 제어 이론의 리 대수 기법을 사용하여 앙상블 시스템의 가역성 분석하기.
• 단조성 개념을 적용하여 유한한 앙상블의 가역성을 무한한 앙상블 근사로 확장하기.
• 가역성을 보장하는 활성화 함수 조건을 도출하기(특히 고차 도함수가 0이 아닌 함수들).
• 바르데모네 유사 행렬의 행렬식 분석을 통해, 가역성은 활성화 함수의 최고차항 계수에만 의존하며, 저차항은 영향을 주지 않는다는 것을 보여주기.

실험 결과

연구 질문

• RQ1 넓이가 유한한 깊이 있는 잔차 신경망은 컴acts 집합 위에서 임의의 연속 함수를 보편적으로 근사할 수 있는가?
• RQ2 비선형 제어 이론적 방법을 통해 깊이 있는 잔차 네트워크에서 보편적 근사를 가능하게 하는 활성화 함수의 클래스는 무엇인가?
• RQ3 훈련 데이터의 기억은 어떻게 앙상블 제어 시스템에서의 가역성 문제로 재구성될 수 있는가?
• RQ4 이 설정에서 보편적 근사를 위해 필요한 뉴런 수의 최적 경계는 무엇인가?
• RQ5 잔차 네트워크 아키텍처의 구조는 얕은 네트워크보다 더 나은 근사를 어떻게 가능하게 하는가?

주요 결과

• 두 번째 도함수가 열린 밀도 부분집합에서 0이 아닌 깊이 있는 잔차 신경망은 보편적 근사를 달성할 수 있다.
• 활성화 함수의 최고차항 계수가 지배할 경우, 앙상블 제어 시스템의 가역성이 보장되며, 이 경우 저차항은 가역성에 영향을 주지 않는다.
• 가역성 행렬의 행렬식은 활성화 함수의 최고차항 계수에만 의존하며, 저차항에는 영향을 주지 않는다.
• 가역성을 달성하는 가중치 행렬의 집합은 매개변수 공간에서 열려 있고 밀도가 있으며, 이는 근사 성질의 일반성(유일성)을 의미한다.
• 필요한 뉴런 수는 최적으로 경계가 되며, 샘플 포인트 수와 입력 공간의 차원에 명시적인 의존성을 가진다.
• 단조성 논증을 통해 유한한 앙상블의 가역성을 무한한 앙상블 근사로 확장할 수 있으며, 이는 컴acts 집합 위에서 균일 수렴을 보장한다.