[논문 리뷰] On Universal Approximation by Neural Networks with Uniform Guarantees on Approximation of Infinite Dimensional Maps

William H. Guss, Ruslan Salakhutdinov|arXiv (Cornell University)|2019. 10. 03.

Neural Networks and Applications참고 문헌 12인용 수 4

한 줄 요약

이 논문은 표본 인수분해—표본 추출과 보간 과정의 쌍—를 도입하여 무한차원 신경망에 대한 일반적 근사의 성립을 확립한다. 이를 통해 유한한 은닉 유닛을 가진 이중층 신경망이 무한차원 입력/출력 유닛을 가질 때, 함수 공간 간의 연속 비선형 연산자를 균일하게 근사할 수 있음을 증명하며, 이러한 균일 근사에 필요한 최소 아키텍처 크기에 대한 첫 번째 상한을 제시한다.

ABSTRACT

The study of universal approximation of arbitrary functions $f: \mathcal{X} o \mathcal{Y}$ by neural networks has a rich and thorough history dating back to Kolmogorov (1957). In the case of learning finite dimensional maps, many authors have shown various forms of the universality of both fixed depth and fixed width neural networks. However, in many cases, these classical results fail to extend to the recent use of approximations of neural networks with infinitely many units for functional data analysis, dynamical systems identification, and other applications where either $\mathcal{X}$ or $\mathcal{Y}$ become infinite dimensional. Two questions naturally arise: which infinite dimensional analogues of neural networks are sufficient to approximate any map $f: \mathcal{X} o \mathcal{Y}$, and when do the finite approximations to these analogues used in practice approximate $f$ uniformly over its infinite dimensional domain $\mathcal{X}$? In this paper, we answer the open question of universal approximation of nonlinear operators when $\mathcal{X}$ and $\mathcal{Y}$ are both infinite dimensional. We show that for a large class of different infinite analogues of neural networks, any continuous map can be approximated arbitrarily closely with some mild topological conditions on $\mathcal{X}$. Additionally, we provide the first lower-bound on the minimal number of input and output units required by a finite approximation to an infinite neural network to guarantee that it can uniformly approximate any nonlinear operator using samples from its inputs and outputs.

연구 동기 및 목표

• 입력 또는 출력 공간이 무한차원일 경우 비선형 연산자 및 기저 매핑에 대한 일반적 근사성에 대한 미해결 문제를 해결하기 위해.
• 유한한 신경망이 무한차원 연산자를 균일하게 근사할 수 있는 조건을 설정하기 위해.
• 비선형 연산자를 균일하게 근사하기 위해 필요한 최소 입력 및 출력 유닛 수에 대한 첫 번째 상한을 제공하기 위해.
• 범주론적 기법을 사용하여 고전적 일반적 근사 정리들을 무한차원 함수 공간으로 확장하기 위해.

제안 방법

• 표본 인수분해를 도입하여, 위상적 구조를 유지하면서 무한차원 문제를 유한차원 문제로 환원할 수 있도록 하는 표본 추출 및 보간 과정의 쌍을 제공한다.
• 표본 인수분해의 함자적 성질을 활용하여, 유한차원에서의 일반적 근사성을 무한차원 설정으로 이행한다.
• 유한차원 근사에서 유도된 표본 인수분해로부터 고전적 일반적 근사 정리를 적용한다.
• 커버링 수와 연산자 정규성 대 함수 공간 정규성의 비율을 사용하여 최소 네트워크 크기에 대한 상한을 유도한다.
• 범주론적 도구를 활용하여 유한차원과 무한차원 신경망 아키텍처 간의 관계를 체계화한다.
• C(K)와 같은 함수 공간의 구조를 활용하여 오차와 순서를 제어할 수 있는 표본 인수분해를 정의하고 분석한다.

실험 결과

연구 질문

• RQ1 무한차원 입력/출력 유닛과 유한한 은닉 유닛을 가진 이중층 신경망이 무한차원 함수 공간 간의 연속 비선형 연산자를 균일하게 근사할 수 있는가?
• RQ2 유한한 신경망이 비선형 연산자를 균일하게 근사하기 위해 필요한 최소 입력 및 출력 유닛 수는 얼마인가?
• RQ3 유한한 근사가 무한차원 신경망의 일반적 근사 성질을 어떻게 상속하는가?
• RQ4 유한차원에서 무한차원 출력 공간으로의 비선형 기저 매핑의 일반적 근사성이 어떻게 보장될 수 있는가?
• RQ5 도메인 공간의 커버링 수와 목표 연산자의 정규성은 필요한 네트워크 크기를 어떻게 제한할 수 있는가?

주요 결과

• 합을 적분으로 대체한 이중층 무한차원 신경망은 C(K)와 C(K') 공간 간의 어떤 연속 비선형 연산자라도 균일하게 근사할 수 있다.
• 유한한 은닉 유닛을 가지며 입력 및 출력 유닛이 무한한 유한 신경망은 어떤 연속 비선형 연산자라도 균일하게 근사할 수 있다.
• 균일 근사에 필요한 최소 입력 및 출력 유닛 수는 도메인 공간의 커버링 수와 연산자 정규성 대 함수 공간 정규성 비율의 함수로 상한이 존재한다.
• 최소 아키텍처 크기의 상한은 도메인 공간의 커버링 수와 목표 연산자의 정규성에 기반하며, ε 및 λ에 명시적인 의존성을 가진다.
• 표본 인수분해를 통해 오차와 순서를 제어할 수 있는 유한차원 문제로의 무한차원 근사 환원이 가능하며, 이는 균일 수렴을 보장한다.
• 결과적으로 본 연구는 무한차원 설정에서 비선형 연산자의 균일 근사에 필요한 최소 네트워크 크기에 대한 이론적 보장을 처음으로 제공한다.