[論文レビュー] The Universal Approximation Property: Characterizations, Existence, and a Canonical Topology for Deep-Learning

Anastasis Kratsios|arXiv (Cornell University)|Oct 8, 2019

Neural Networks and Applications被引用数 9

ひとこと要約

この論文は、任意の関数空間におけるフィードフォワードニューラルネットワークの普遍近似性質（UAP）の一般化された特徴付けを確立し、UAPを保証する標準的な位相を構築し、0および1の出力を達成するシグモイドベースのネットワークが、ユークリッド空間間の任意の集合関数を普遍的に近似できることを示している。さらに、任意の入力次元を持つネットワークが任意の連続関数を近似できることを示し、超高次元学習の状況にも適用可能であることを示している。

ABSTRACT

The universal approximation property (UAP) of feed-forward neural networks is systematically studied for arbitrary families of functions in general function spaces. Two characterizations of the UAP are found, conditions for the existence of a small family of functions with the UAP are given, and a canonical topology guaranteeing that a set of functions has the UAP is explicitly constructed. These general results are applied to two concrete problems in learning theory. First, it is shown that neural network architectures with a sigmoid activation function achieving the values 0 and 1 are capable of approximating any set function between two Euclidean spaces for the canonical topology. As a second application of our results, it is shown that any continuous function accepting an arbitrary number of inputs can be approximated by a neural network receiving an arbitrary number of inputs. This makes these networks suitable for learning problems where the dimension of the data is diverging, such as in ultra-high dimensional situations.

研究の動機と目的

• 一般関数空間におけるフィードフォワードニューラルネットワークの普遍近似性質（UAP）を体系的に特徴付けること。
• 小さな関数族がUAPを満たすための条件を同定すること。
• 与えられた関数族に対してUAPを保証する標準的位相を構築すること。
• 学習理論における2つの具体的な問題に理論的結果を適用すること：集合関数の近似と任意の入力次元を持つ連続関数の近似。

提案手法

• 一般関数空間における関数解析を用いて、UAPの2つの特徴付けを導出する。
• 位相的および代数的性質に基づき、UAPを持つ小さな関数族の存在に十分な条件を同定する。
• 与えられた関数族に対してUAPを保証するために明示的に設計された標準的位相を構築する。
• 標準的位相を用いて、0および1の出力を達成するシグモイド活性化関数を備えたニューラルネットワークが、ユークリッド空間間の任意の集合関数を普遍的に近似できることを証明する。
• フレームワークを拡張し、任意の入力次元を持つ連続関数がニューラルネットワークによって普遍的に近似可能であることを示す。
• 位相的および近似理論的議論を用いて、標準的位相が普遍近似を保証することの妥当性を確立する。

実験結果

リサーチクエスチョン

• RQ1 任意の関数空間における普遍近似性質の一般化された特徴付けは何か？
• RQ2 小さな関数族が普遍近似性質を満たすための条件は何か？
• RQ3 与えられた関数族に対してUAPを保証する標準的位相をどのように構築できるか？
• RQ4 0および1の出力を達成するシグモイド活性化関数を備えたニューラルネットワークは、ユークリッド空間間の任意の集合関数を普遍的に近似できるか？
• RQ5 任意の入力次元を持つニューラルネットワークは、任意の連続関数を普遍的に近似できるか。特に、超高次元設定においては？

主な発見

• フィードフォワードニューラルネットワークが任意の関数空間において普遍近似性質（UAP）を満たす2つの一般化された特徴付けが導出された。
• 位相的および関数的性質に基づき、UAPを持つ小さな関数族の存在に十分な条件が確立された。
• 与えられた関数族に対してUAPを保証する標準的位相が明示的に構築された。
• 標準的位相の下で、0および1の出力を達成するシグモイド活性化関数を備えたニューラルネットワークは、2つのユークリッド空間間の任意の集合関数を普遍的に近似できる。
• 任意の数の入力を受容する任意の連続関数は、ニューラルネットワークによって普遍的に近似可能であり、これにより超高次元学習問題に適したアーキテクチャが得られる。
• 理論的枠組みは、入力次元が発散するような状況（例えば、現代の高次元データ応用など）における普遍近似の理解の基盤を提供する。