[論文レビュー] The universal approximation theorem for complex-valued neural networks.

Felix Voigtländer|arXiv (Cornell University)|Dec 6, 2020

Machine Learning in Materials Science参考文献 36被引用数 6

ひとこと要約

この論文は、複素数値ニューラルネットワークへの普遍近似定理の拡張を試み、少なくとも2つの隠れ層を持つ深層ネットワークが、その活性化関数 σ が正則でも反正則でもない場合に普遍近似を達成することを証明している。一方、浅層ネットワークでは、σ の実部または虚部が多調和的でないことが必要である。この結果は、深層と浅層の複素数値ネットワークの近似能力に根本的な違いがあることを示している。

ABSTRACT

We generalize the classical universal approximation theorem for neural networks to the case of complex-valued neural networks. Precisely, we consider feedforward networks with a complex activation function $\sigma : \mathbb{C} o \mathbb{C}$ in which each neuron performs the operation $\mathbb{C}^N o \mathbb{C}, z \mapsto \sigma(b + w^T z)$ with weights $w \in \mathbb{C}^N$ and a bias $b \in \mathbb{C}$, and with $\sigma$ applied componentwise. We completely characterize those activation $\sigma$ for which the associated complex networks have the universal approximation property, meaning that they can uniformly approximate any continuous function on any compact subset of $\mathbb{C}^d$ arbitrarily well. Unlike the classical case of real networks, the set of good activation functions which give rise to networks with the universal approximation property differs significantly depending on whether one considers deep networks or shallow networks: For deep networks with at least two hidden layers, the universal approximation property holds as long as $\sigma$ is neither a polynomial, a holomorphic function, or an antiholomorphic function. Shallow networks, on the other hand, are universal if and only if the real part or the imaginary part of $\sigma$ is not a polyharmonic function.

研究の動機と目的

• ニューラルネットワークの複素数領域への古典的普遍近似定理の拡張を目的とする。
• フィードフォワードニューラルネットワークにおける、どの複素数活性化関数が普遍近似を可能にするかを特定すること。
• 浅層と深層の複素数値ネットワークが普遍近似を達成するための条件を区別すること。
• 正則、反正則、多調和的性質が、活性化関数の近似能力に与える役割を特徴付けること。

提案手法

• 論文は、成分ごとの活性化関数 σ: ℂ → ℂ を持つフィードフォワード複素数値ニューラルネットワークを分析している。
• 各ニューロンは z ↦ σ(b + w^T z) としてモデル化され、ここで w ∈ ℂ^N および b ∈ ℂ は複素数の重みとバイアスである。
• 解析は、特に正則関数および反正則関数の性質に焦点を当てた複素関数論の理論を用いている。
• 深層ネットワーク（≥2つの隠れ層）と浅層ネットワーク（1つの隠れ層）の近似行動における違いを明確にしている。
• 証明は、ネットワークが ℂ^d のコンact部分集合上で任意の連続関数を一様近似可能であるような活性化関数 σ の特徴付けに依存している。
• 多項式、正則関数、反正則関数が特定のアーキテクチャで普遍近似を提供できないという事実を用いている。

実験結果

リサーチクエスチョン

• RQ1 少なくとも2つの隠れ層を持つ深層フィードフォワードネットワークが普遍近似を達成できるような複素数活性化関数は何か？
• RQ2 浅層複素数値ネットワークで普遍近似を保証する活性化関数 σ の条件は何か？
• RQ3 なぜ深層と浅層の複素数ネットワークは、普遍近似のための根本的に異なる要件を示すのか？
• RQ4 正則関数および反正則関数は、複素数値ニューラルネットワークの近似能力にどのように影響を与えるか？
• RQ5 σ の実部または虚部の多調和的性質が、浅層ネットワークにおける普遍近似の可否を決定づける役割を果たすか？

主な発見

• 少なくとも2つの隠れ層を持つ深層ネットワークは、活性化関数 σ が多項式でも、正則でも、反正則でもない場合に限り、普遍近似を達成する。
• 浅層ネットワークは、σ の実部または虚部が多調和的でない場合に限り、普遍近似を達成する。
• 深層と浅層ネットワークの違いは、深層ネットワークが非解析的挙動を近似により効果的に利用できることに起因する。
• 多項式、正則関数、反正則関数は、その解析的構造のため、深層ネットワークでは普遍近似に不十分である。
• この結果は、浅層と深層の複素数値ネットワークの近似能力に根本的な非対称性があることを明らかにしている。
• この特徴付けは、複素数値ニューラルネットワークにおける普遍近似の完全かつ必要十分な条件を提供する。