[논문 리뷰] The universal approximation power of finite-width deep ReLU networks

Dmytro Perekrestenko, Philipp Grohs외 2명|arXiv (Cornell University)|2018. 06. 05.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 15

한 줄 요약

이 논문은 유한 폭의 깊은 ReLU 신경망이 다각도의 함수 클래스—다항식, 창형 사인파, 진동하는 문양, 그리고 어디서도 미분 가능하지 않은 Weierstrass 함수—에 대해 깊이를 활용해 역 오차의 다항로그 스케일링을 가능하게 함으로써 지수적 오차 감소를 달성함을 보여준다. 핵심 기여는 매끄러운 함수를 근사할 때, 유한 폭의 깊은 신경망이 유한 깊이의 넓은 신경망보다 연결성 요구를 더 적게 필요로 함을 증명함으로써 깊이가 근사 효율성에서 본질적인 이점을 가짐을 확립한다.

ABSTRACT

We show that finite-width deep ReLU neural networks yield rate-distortion optimal approximation (Bölcskei et al., 2018) of polynomials, windowed sinusoidal functions, one-dimensional oscillatory textures, and the Weierstrass function, a fractal function which is continuous but nowhere differentiable. Together with their recently established universal approximation property of affine function systems (Bölcskei et al., 2018), this shows that deep neural networks approximate vastly different signal structures generated by the affine group, the Weyl-Heisenberg group, or through warping, and even certain fractals, all with approximation error decaying exponentially in the number of neurons. We also prove that in the approximation of sufficiently smooth functions finite-width deep networks require strictly smaller connectivity than finite-depth wide networks.

연구 동기 및 목표

• 유한 폭의 깊은 ReLU 신경망의 보편 근사 성질이 애핀 함수 클래스를 초월하여 적용 가능한지 조사하기.
• 유한 폭의 깊은 신경망이 다항식 및 프랙탈과 같은 비애핀, 복잡한 신호 구조에 대해 비율-왜곡 최적 근사 성능을 달성할 수 있는지 확인하기.
• 매끄럽고 진동하는 함수를 근사할 때 깊이와 폭의 연결성 요구를 비교함으로써 깊이의 이점이 어떻게 수식화되는지 공식화하기.
• 유한 폭과 역 오차에 대한 다항로그 스케일링의 깊이를 갖는 신경망에서 지수적 오차 감소가 달성 가능한지 증명하기.
• 매끄러운 함수를 근사할 때, 유한 폭의 깊은 신경망이 유한 깊이의 넓은 신경망보다 연결성 측면에서 더 우수한 성능을 보임을 보여주기.

제안 방법

• 승강기 함수와 그 반복적 합성을 사용하여 곱셈과 다항식 함수를 근사하는 ReLU 신경망 구축.
• x²를 근사하기 위해 재귀적 네트워크 아키텍처를 적용하고, 가중치는 유한하게 유지하면서 깊이를 O(log(1/ϵ)) 스케일링.
• 복합 및 고차 다항식에 대한 다항식 근사를 위해 구성 및 선형 조합 기법을 사용하여 다변수 및 고차 다항식으로 확장.
• 창형 사인파를 통한余弦 함수 근사 기법을 활용하여 진동하는 문양과 프랙탈 함수 모델링.
• Yarotsky의 구성 방식을 활용하고 다항식 차수에 관계없이 유한 폭을 유지하도록 수정.
• Weierstrass 함수를 근사하는 네트워크가 깊이 스케일링이 O((log(1/ϵ))³)일 때 지수적 오차 감소를 달성함을 증명.

실험 결과

연구 질문

• RQ1 유한 폭의 깊은 ReLU 신경망이 다항식 및 프랙탈과 같은 비애핀 함수 클래스에 대해 지수적 근사 오차 감소를 달성할 수 있는가?
• RQ2 매끄럽고 진동하는 함수를 근사할 때, 연결성 측면에서 깊이가 폭보다 본질적인 이점을 제공하는가?
• RQ3 창형 사인파 함수와 진동하는 문양의 근사는 유한 폭의 깊은 신경망을 통해 지수적 오차 감소로 달성 가능한가?
• RQ4 어디서도 미분 가능하지 않은 프랙탈인 Weierstrass 함수는 유한 폭의 깊은 ReLU 신경망을 통해 지수 정확도로 근사 가능한가?
• RQ5 매끄러운 함수를 근사할 때, 유한 폭의 깊은 신경망이 유한 깊이의 넓은 신경망보다 최소한으로 필요한 연결성은 얼마인가?

주요 결과

• 유한 폭의 깊은 ReLU 신경망은 다항식에 대해 지수적 근사 오차 감소를 달성하며, 깊이 스케일링은 O(log(1/ϵ))이며, 가중치는 다항식 차수에 관계없이 유한하게 유지된다.
• 창형 사인파 함수와 진동하는 문양의 근사는 유한 폭의 깊은 신경망을 통해 지수적 오차 감소로 달성되며, 이는 여시함수 근사 기법을 기반으로 한다.
• 연속적이지만 어디서도 미분 가능하지 않은 프랙탈인 Weierstrass 함수 Wp,a(x)는 깊은 ReLU 신경망을 통해 지수 정확도로 근사 가능하며, 깊이 스케일링은 O((log(1/ϵ))³)이다.
• Weierstrass 함수 Wp,a(x)에 대해, 네트워크는 깊이 L ≤ C1(log(1/ϵ))³ + C2(log(1/ϵ))² log(⌈a⌉) + C3 log(1/ϵ) log(D)를 만족하며 ∥ΨWp,a,D,ϵ − Wp,a∥L∞[−D,D] ≤ ϵ를 달성하며, 가중치는 C4 이하로 유한하게 유지된다.
• C³ 함수를 근사할 때, 유한 폭의 깊은 신경망은 유한 깊이의 넓은 신경망보다 연결성 요구를 더 적게 필요로 하며, M = π(log(1/ϵ))이고 L이 고정된 네트워크에 대해 ∥f − Φ∥L∞[a,b] ≥ ϵ라는 하한이 증명된다.
• 깊은 ReLU 신경망을 통한 국소 여시 기저 근사는 지수적 오차 감소를 달성하며, 이는 방법이 조화 분석적 구조에 적용 가능함을 확인한다.