[논문 리뷰] A closer look at the approximation capabilities of neural networks

Kai Fong Ernest Chong|arXiv (Cornell University)|2020. 02. 16.

Neural Networks and Applications참고 문헌 24인용 수 9

한 줄 요약

이 논문은 연속적이며 다항식이 아닌 활성화 함수를 갖는 피드포워드 신경망에 대한 보편적 근사 정리의 직접적인 대수적 증명을 제공한다. 균일 근사에 필요한 은닉 유닛의 수를 정량화한다: 총 차수 $d$인 다항식 함수의 경우 $\binom{n+d}{d}$이며, 일반적인 연속 함수의 경우 조건이 엄격한 가중치 제약 조건이 존재하더라도 $\mathcal{O}(\varepsilon^{-n})$이다.

ABSTRACT

The universal approximation theorem, in one of its most general versions, says that if we consider only continuous activation functions $σ$, then a standard feedforward neural network with one hidden layer is able to approximate any continuous multivariate function $f$ to any given approximation threshold $\varepsilon$, if and only if $σ$ is non-polynomial. In this paper, we give a direct algebraic proof of the theorem. Furthermore we shall explicitly quantify the number of hidden units required for approximation. Specifically, if $X\subseteq \mathbb{R}^n$ is compact, then a neural network with $n$ input units, $m$ output units, and a single hidden layer with $\binom{n+d}{d}$ hidden units (independent of $m$ and $\varepsilon$), can uniformly approximate any polynomial function $f:X o \mathbb{R}^m$ whose total degree is at most $d$ for each of its $m$ coordinate functions. In the general case that $f$ is any continuous function, we show there exists some $N\in \mathcal{O}(\varepsilon^{-n})$ (independent of $m$), such that $N$ hidden units would suffice to approximate $f$. We also show that this uniform approximation property (UAP) still holds even under seemingly strong conditions imposed on the weights. We highlight several consequences: (i) For any $δ> 0$, the UAP still holds if we restrict all non-bias weights $w$ in the last layer to satisfy $|w| < δ$. (ii) There exists some $λ>0$ (depending only on $f$ and $σ$), such that the UAP still holds if we restrict all non-bias weights $w$ in the first layer to satisfy $|w|>λ$. (iii) If the non-bias weights in the first layer are \emph{fixed} and randomly chosen from a suitable range, then the UAP holds with probability $1$.

연구 동기 및 목표

• 연속적이며 다항식이 아닌 활성화 함수를 갖는 신경망에 대한 보편적 근사 정리의 직접적인 대수적 증명을 제공하는 것.
• 연속 함수 및 다항식 함수를 균일하게 근사하기 위해 필요한 은닉 유닛 수를 명시적으로 정량화하는 것.
• 첫 번째 또는 마지막 레이어의 비편향 가중치에 대해 강한 제약 조건이 존재할 때 보편적 근사 성질(UAP)이 유지되는지 조사하는 것.
• 구조적 제약 조건 하에서도 근사 능력을 유지하는 데 있어 편향 및 비편향 가중치의 역할을 탐색하는 것.
• 컨volutional 및 순환 아키텍처를 포함한 더 넓은 신경망 클래스에 적용 가능한 일반적인 대수적 기준을 수립하는 것.

제안 방법

• 네트워크 기능의 선형 독립성을 분석하기 위해 대수기하학과 바르드모인드 행렬의 성질을 활용한다.
• 비편향 바르드모인드 행렬의 비특이성 조건을 가중치 제약 조건 하에서 보편적 근사에 핵심 조건으로 사용한다.
• 웨이어스트라스 근사 정리를 적용하여 연속 함수와 다항식 근사자 간의 오차를 극한한다.
• 연속 함수에 대한 오차 한계를 도출하기 위해 연속성 모듈러스 기반의 오차 한계를 도입하여 일반적인 연속 함수에 대해 $\mathcal{O}(\varepsilon^{-n})$ 스케일링을 유도한다.
• 다항식의 총 차수 $d$를 정확히 표현하기 위해 $\binom{n+d}{d}$개의 은닉 유닛을 갖는 신경망을 구성한다.
• 가중치 공간에서 측도론적 추론을 통해 비편향 가중치가 작은 간격 내에 제약되거나 영으로부터 멀리 떨어져 있더라도 UAP가 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 보편적 근사 정리는 기능 해석적 방법이 아닌 직접적인 대수적 접근을 통해 증명될 수 있는가?
• RQ2 오차 $\varepsilon$ 이내로 연속 함수를 균일하게 근사하기 위해 필요한 정확한 은닉 유닛 수는 얼마인가?
• RQ3 첫 번째 또는 마지막 레이어의 비편향 가중치가 특정 범위로 제약될 경우 보편적 근사 성질이 유지되는가?
• RQ4 비편향 가중치가 고정되거나 주어진 범위에서 무작위로 선택될 경우 UAP를 유지할 수 있는가?
• RQ5 주어진 신경망 클래스에 대해 보편적 근사 성질을 보장하는 네트워크 가중치에 대한 대수적 조건은 무엇인가?

주요 결과

• 총 차수 $d$ 이하인 모든 다항식 함수 $f: X \to \mathbb{R}^m$를 균일하게 근사할 수 있는 신경망은 $\binom{n+d}{d}$개의 은닉 유닛을 갖는다. 이는 $\varepsilon$와 $m$에 관계없이 성립한다.
• 임의의 연속 함수 $f: X \to \mathbb{R}^m$가 컴act 집합 $X \subseteq \mathbb{R}^n$에 정의되어 있을 경우, 오차 $\varepsilon$ 이내로 균일 근사하기 위해 $\mathcal{O}(\varepsilon^{-n})$개의 은닉 유닛으로 충분하며, 이는 $m$에 관계없이 성립한다.
• 모든 비편향 가중치가 마지막 레이어에서 $|w| < \delta$인 경우에도 보편적 근사 성질이 유지되며, 이에 대한 한계는 $\delta$에 관계없이 일정하다.
• 모든 비편향 가중치가 첫 번째 레이어에서 $|w| > \lambda$를 만족하도록 할 경우, $f$와 $\sigma$에 따라 결정되는 $\lambda > 0$이 존재하여 UAP가 여전히 성립한다.
• 첫 번째 레이어의 비편향 가중치가 적절한 범위에서 고정되거나 무작위로 선택될 경우, UAP는 확률 1로 성립한다.
• 비편향 바르드모인드 행렬이 비특이성이 되는 가중치 구성의 집합은 가중치 공간에서 조밀하며, 이는 이러한 구성이 존재하고 일반적임을 의미한다.