[論文レビュー] On Universal Approximation by Neural Networks with Uniform Guarantees on Approximation of Infinite Dimensional Maps

William H. Guss, Ruslan Salakhutdinov|arXiv (Cornell University)|Oct 3, 2019

Neural Networks and Applications参考文献 12被引用数 4

ひとこと要約

本稿では、無限次元ニューラルネットワークの普遍的近似性を確立するために、サンプリングと補間プロセスのペアであるサンプル因子分解を導入し、無限次元の近似問題を有限次元の問題に還元する。2層のニューラルネットワークが無限個の入力・出力ユニットと有限個の隠れユニットを持つ場合、関数空間間の任意の連続的非線形作用素を一様近似可能であり、このような一様近似に必要な最小アーキテクチャサイズに対する最初の上界を提供する。

ABSTRACT

The study of universal approximation of arbitrary functions $f: \mathcal{X} o \mathcal{Y}$ by neural networks has a rich and thorough history dating back to Kolmogorov (1957). In the case of learning finite dimensional maps, many authors have shown various forms of the universality of both fixed depth and fixed width neural networks. However, in many cases, these classical results fail to extend to the recent use of approximations of neural networks with infinitely many units for functional data analysis, dynamical systems identification, and other applications where either $\mathcal{X}$ or $\mathcal{Y}$ become infinite dimensional. Two questions naturally arise: which infinite dimensional analogues of neural networks are sufficient to approximate any map $f: \mathcal{X} o \mathcal{Y}$, and when do the finite approximations to these analogues used in practice approximate $f$ uniformly over its infinite dimensional domain $\mathcal{X}$? In this paper, we answer the open question of universal approximation of nonlinear operators when $\mathcal{X}$ and $\mathcal{Y}$ are both infinite dimensional. We show that for a large class of different infinite analogues of neural networks, any continuous map can be approximated arbitrarily closely with some mild topological conditions on $\mathcal{X}$. Additionally, we provide the first lower-bound on the minimal number of input and output units required by a finite approximation to an infinite neural network to guarantee that it can uniformly approximate any nonlinear operator using samples from its inputs and outputs.

研究の動機と目的

• 入力空間または出力空間が無限次元である場合の非線形作用素および基底写像の普遍的近似に関する未解決問題を解消すること。
• 有限のニューラルネットワークが無限次元作用素を一様近似可能となる条件を確立すること。
• 非線形作用素の一様近似に必要な最小の入力・出力ユニット数に対する最初の上界を提供すること。
• カテゴリー論的技術を用いて、古典的な普遍的近似定理を無限次元関数空間へと拡張すること。

提案手法

• サンプル因子分解を導入し、トポロジカル構造を保ちつつ、無限次元問題を有限次元問題に還元できるサンプリングと補間プロセスのペアを定義する。
• サンプル因子分解のファンクター的性質を用いて、有限次元から無限次元設定への普遍的近似の転送を実現する。
• サンプル因子分解から得られる有限次元近似に古典的普遍的近似定理を適用する。
• 被覆数と作用素の正則性と関数空間の正則性の比を用いて、最小ネットワークサイズの上界を導出する。
• カテゴリー論的ツールを用いて、有限次元と無限次元ニューラルネットワークアーキテクチャの関係を形式化する。
• C(K)などの関数空間の構造を活用し、誤差と順序を制御したサンプル因子分解を定義・分析する。

実験結果

リサーチクエスチョン

• RQ1 2層のニューラルネットワークが無限個の入力・出力ユニットと有限個の隠れユニットを持つ場合、無限次元関数空間間の任意の連続的非線形作用素を一様近似可能か？
• RQ2 有限のニューラルネットワークが任意の非線形作用素を一様近似可能となるために必要な最小の入力・出力ユニット数は何か？
• RQ3 有限の近似が無限次元ニューラルネットワークの普遍的近似性をどのように継承するかの条件は何か？
• RQ4 有限次元から無限次元出力空間への非線形基底写像の普遍的近似は、どのように保証できるか？
• RQ5 定義域空間の被覆数とターゲット作用素の正則性を用いて、必要なネットワークサイズを上限で抑えられるか？

主な発見

• 和を積分に置き換えた2層の無限次元ニューラルネットワークは、C(K)とC(K')空間間の任意の連続的非線形作用素を一様近似可能である。
• 無限個の入力・出力ユニットと有限個の隠れユニットを持つ有限のニューラルネットワークは、任意の連続的非線形作用素を一様近似可能である。
• 一様近似に必要な最小の入力・出力ユニット数は、定義域の被覆数と作用素の正則性と関数空間の正則性の比の関数によって上界で抑えられる。
• 最小アーキテクチャサイズの上界は、定義域空間の被覆数とターゲット作用素の正則性を用いて導出され、εおよびλに明示的な依存関係を示す。
• サンプル因子分解により、誤差と順序を制御した有限次元問題への無限次元近似の還元が可能となり、一様収束が保証される。
• 本研究は、無限次元設定における非線形作用素の一様近似に必要な最小ネットワークサイズに関する、最初の理論的保証を提供する。