[논문 리뷰] Universal Approximation with Deep Narrow Networks

Patrick Kidger, Terry Lyons|arXiv (Cornell University)|2019. 05. 21.

Neural Networks and Applications참고 문헌 28인용 수 29

한 줄 요약

이 논문은 깊이가 임의이고 너비가 $n + m + 2$인 깊이 있는 좁은 신경망이, 임의의 비선형적 연속 활성화 함수를 사용할 때, 컴팩트 도메인에서 $ℝ^n$에서 $ℝ^m$로의 임의의 연속 함수를 보편적으로 근사할 수 있음을 입증한다. 이 활성화 함수는 어떤 점에서 도함수가 0이 아니어야 하며, 이는 다항함수를 포함한 모든 실용적인 활성화 함수를 포함한다. 이는 얕고 넓은 네트워크와의 근본적인 차이를 제공한다.

ABSTRACT

The classical Universal Approximation Theorem holds for neural networks of arbitrary width and bounded depth. Here we consider the natural `dual' scenario for networks of bounded width and arbitrary depth. Precisely, let $n$ be the number of inputs neurons, $m$ be the number of output neurons, and let $ρ$ be any nonaffine continuous function, with a continuous nonzero derivative at some point. Then we show that the class of neural networks of arbitrary depth, width $n + m + 2$, and activation function $ρ$, is dense in $C(K; \mathbb{R}^m)$ for $K \subseteq \mathbb{R}^n$ with $K$ compact. This covers every activation function possible to use in practice, and also includes polynomial activation functions, which is unlike the classical version of the theorem, and provides a qualitative difference between deep narrow networks and shallow wide networks. We then consider several extensions of this result. In particular we consider nowhere differentiable activation functions, density in noncompact domains with respect to the $L^p$-norm, and how the width may be reduced to just $n + m + 1$ for `most' activation functions.

연구 동기 및 목표

• 깊이가 임의이고 너비가 유계인 깊이 있는 좁은 신경망의 보편적 근사성을 확립하여, 고전적인 보편적 근사 정리의 이중적 문제를 다루는 것.
• ReLU 기반 네트워크를 초월하여, 다항함수 및 어디서도 미분 불가능한 함수를 포함한 모든 실용적인 활성화 함수로의 보편적 근사 결과를 확장하는 것.
• 보편적 근사에 필요한 최소 네트워크 너비를 규명하여, '대부분의' 활성화 함수에 대해 $n + m + 1$개의 뉴런으로도 충분함을 보여주는 것.
• 보편적 근사 결과를 컴팩트 집합이 아닌 도메인으로 확장하여, $L^p$ 노름 하에서 균일 수렴을 초월한 결과를 도출하는 것.
• 특정 활성화 함수의 성질(예: ReLU의 대수적 구조)에 의존하지 않는 방법을 제공하여, 더 넓은 이론적 적용 가능성을 확보하는 것.

제안 방법

• 선형 사상과 활성화 함수의 복합을 표현할 수 있는 '강화된 뉴런'의 개념을 도입하여, 함수 근사에 대한 정밀한 제어를 가능하게 하는 것.
• 등록기 모델을 사용하여 정밀하게 구성된 뉴런 시퀀스를 통해 항등 함수와 상수 함수를 시뮬레이션함으로써, 네트워크가 복잡한 함수 클래스를 모방할 수 있도록 하는 것.
• 어떤 점에서 도함수가 0이 아닌 비선형 연속 활성화 함수가 컴팩트 집합에서 항등 함수를 균일하게 근사할 수 있음을 증명하는 것.
• Stone–Weierstrass 정리와 조밀성 추론을 활용하여, 깊이 있는 좁은 네트워크가 표현할 수 있는 함수의 집합이 $C(K; \mathbb{R}^m)$에서 조밀함을 보여주는 것.
• 컷오프 함수의 정확한 신경망 표현을 최대/최소 연산을 통해 사용하여 컴팩트 근사와 결합함으로써, $L^p$ 공간으로 결과를 확장하는 것.
• 소규모 선형 변환과 고주파 진동을 이용한 변형 기법을 적용하여, 어디서도 미분 불가능한 활성화 함수를 사용할 때조차도 항등 함수를 근사하는 것.

실험 결과

연구 질문

• RQ1 깊이가 임의이고 너비가 유계인 깊이 있는 좁은 네트워크가, 컴팩트 도메인에서 임의의 비선형적 연속 활성화 함수를 사용하여 연속 함수를 보편적으로 근사할 수 있는가?
• RQ2 고전적인 보편적 근사 정리에서 제외되는 다항 활성화 함수에 대해서도 보편적 근사 성질이 유지되는가?
• RQ3 '대부분의' 활성화 함수에 대해 보편적 근사에 필요한 최소 너비를 $n + m + 2$에서 $n + m + 1$로 줄일 수 있는가?
• RQ4 비컴팩트 도메인에서 깊이 있는 좁은 네트워크를 사용하여 $L^p$ 공간에서의 보편적 근사가 가능한가?
• RQ5 웨이어스트라스 유형의 함수처럼 어디서도 미분 불가능한 활성화 함수로도 이론을 확장할 수 있는가?

주요 결과

• 컴팩트 $K \subseteq \mathbb{R}^n$에 대해, 너비가 $n + m + 2$이고 임의의 비선형 연속 활성화 함수를 사용하는 깊이 있는 좁은 네트워크는 $C(K; \mathbb{R}^m)$에서 조밀하다.
• 결과는 고전적인 보편적 근사 정리에서 제외되는 다항 활성화 함수를 포함하며, 깊이 있는 좁은 네트워크와 얕고 넓은 네트워크 사이의 질적 차이를 입증한다.
• '대부분의' 활성화 함수에 대해 보편적 근사에 필요한 최소 너비는 $n + m + 1$이며, 이는 제3.1조의 정교한 구성에 의해 입증된다.
• 어디서도 미분 불가능한 활성화 함수를 사용할 때도, 강화된 뉴런을 구성하여 컴팩트 집합에서 항등 함수를 균일하게 근사할 수 있음을 보여주는 방법을 제공한다.
• $L^p(\mathbb{R}^n; \mathbb{R}^m)$에서 $p \in [1, \infty)$일 때 보편적 근사가 성립하며, 이는 컴팩트 근사와 최대/최소 레이어를 사용한 컷오프 함수의 정확한 신경망 표현을 결합함으로써 달성된다.
• 증명 과정에서 ReLU나 기타 특정 활성화 함수의 대수적 성질에 의존하지 않아, 딥 러닝에서 실용적으로 사용되는 모든 활성화 함수에 대해 강력하고 일반화 가능한 이론적 기반을 제공한다.