[논문 리뷰] The universal approximation theorem for complex-valued neural networks.

Felix Voigtländer|arXiv (Cornell University)|2020. 12. 06.

Machine Learning in Materials Science참고 문헌 36인용 수 6

한 줄 요약

이 논문은 복소수 신경망으로 보편적 근사 정리의 범위를 확장하며, 적어도 두 개 이상의 은닉층을 가진 깊은 네트워크가 활성화 함수 σ가 해석적 또는 반해석적이지 않은 경우 보편적 근사를 달성한다고 증명한다. 반면 얕은 네트워크의 경우 실수부 또는 허수부가 다항형이 아닌 조건이 필요하다. 이 결과는 깊이 있는 복소수 네트워크와 얕은 복소수 네트워크 간의 근사 능력에서 근본적인 차이를 드러낸다.

ABSTRACT

We generalize the classical universal approximation theorem for neural networks to the case of complex-valued neural networks. Precisely, we consider feedforward networks with a complex activation function $\sigma : \mathbb{C} o \mathbb{C}$ in which each neuron performs the operation $\mathbb{C}^N o \mathbb{C}, z \mapsto \sigma(b + w^T z)$ with weights $w \in \mathbb{C}^N$ and a bias $b \in \mathbb{C}$, and with $\sigma$ applied componentwise. We completely characterize those activation $\sigma$ for which the associated complex networks have the universal approximation property, meaning that they can uniformly approximate any continuous function on any compact subset of $\mathbb{C}^d$ arbitrarily well. Unlike the classical case of real networks, the set of good activation functions which give rise to networks with the universal approximation property differs significantly depending on whether one considers deep networks or shallow networks: For deep networks with at least two hidden layers, the universal approximation property holds as long as $\sigma$ is neither a polynomial, a holomorphic function, or an antiholomorphic function. Shallow networks, on the other hand, are universal if and only if the real part or the imaginary part of $\sigma$ is not a polyharmonic function.

연구 동기 및 목표

• 클래식한 보편적 근사 정리를 신경망의 복소수 영역으로 확장하기.
• 피드포워드 신경망에서 보편적 근사를 가능하게 하는 복소수 활성화 함수를 규명하기.
• 얕은 네트워크와 깊은 네트워크가 보편적 근사를 달성하는 조건을 구분하기.
• 해석적, 반해석적, 다항형 성질이 활성화 함수의 근사 능력에 미치는 영향을 규명하기.

제안 방법

• 논문은 성분별 활성화 함수 σ: ℂ → ℂ를 갖는 피드포워드 복소수 신경망을 분석한다.
• 각 뉴런은 z ↦ σ(b + w^T z)로 모델링되며, 여기서 w ∈ ℂ^N 및 b ∈ ℂ는 복소수 가중치와 편향이다.
• 분석은 복소해석학 이론, 특히 해석적 및 반해석적 함수의 성질을 활용한다.
• 깊은 네트워크(≥2개의 은닉층)와 얕은 네트워크(1개의 은닉층)의 근사 행동을 구분한다.
• 증명는 ℂ^d의 컴acts부분집합에서 임의의 연속함수를 균일하게 근사할 수 있도록 하는 활성화 함수 σ의 특성을 규명하는 데 기반한다.
• 다항식, 해석적, 반해석적 함수는 특정 아키텍처에서 보편적 근사를 제공하지 못한다는 사실을 활용한다.

실험 결과

연구 질문

• RQ1 어떤 복소수 활성화 함수가 적어도 두 개 이상의 은닉층을 가진 깊은 피드포워드 네트워크에서 보편적 근사를 가능하게 하는가?
• RQ2 활성화 함수 σ에 어떤 조건이 있어야 얕은 복소수 신경망에서 보편적 근사가 달성되는가?
• RQ3 왜 깊은 복소수 네트워크와 얕은 복소수 네트워크는 보편적 근사를 위한 본질적으로 다른 조건을 요구하는가?
• RQ4 해석적 및 반해석적 함수는 복소수 신경망의 근사 능력에 어떤 영향을 미치는가?
• RQ5 σ의 실수부 또는 허수부가 다항형일 경우, 얕은 네트워크에서 보편적 근사를 결정짓는 데 어떤 역할을 하는가?

주요 결과

• 적어도 두 개 이상의 은닉층을 가진 깊은 네트워크는 활성화 함수 σ가 다항식, 해석적, 반해석적이지 않은 경우에만 보편적 근사를 달성한다.
• 얕은 네트워크는 실수부 또는 허수부가 다항형이 아닌 경우에만 보편적 근사를 달성한다.
• 깊은 네트워크와 얕은 네트워크의 차이는 깊은 네트워크가 비해석적 성질을 근사에 더 효과적으로 활용할 수 있기 때문이다.
• 다항식, 해석적, 반해석적 함수는 그 분석적 구조 때문에 깊은 네트워크에서 보편적 근사를 제공하지 못한다.
• 이 결과는 얕은 네트워크와 깊은 네트워크의 근사 능력 간의 근본적인 비대칭성을 드러낸다.
• 이 특성화는 복소수 신경망에서 보편적 근사를 위한 완전하고 필수적이고 충분한 조건을 제공한다.