[논문 리뷰] Deep Network Approximation with Discrepancy Being Reciprocal of Width to Power of Depth.

Zuowei Shen, Haizhao Yang외 1명|arXiv (Cornell University)|2020. 06. 22.

Advanced Numerical Analysis Techniques인용 수 3

한 줄 요약

이 논문은 [0,1]^d에서 리프시츠 연속 함수 및 연속 함수에 대해 지수적 근사율을 달성하는 플로어-렐루 네트워크—딥 뉴럴 네트워크의 일종으로, 플로어 및 릴루 활성화 함수를 사용하는 것—를 소개한다. 너비 max{d, 5N+13}와 깊이 64dL+3를 갖는 이 네트워크는 차원의 극복을 가능하게 하여, 근사 오차가 N^{-√L}에 비례하며 √d를 곱한 값으로 감소하며, 이는 효과적인 순서에서 차원에 독립적이다.

ABSTRACT

A new network with super approximation power is introduced. This network is built with Floor ($\lfloor x floor$) and ReLU ($\max\{0,x\}$) activation functions and hence we call such networks as Floor-ReLU networks. It is shown by construction that Floor-ReLU networks with width $\max\{d,\, 5N+13\}$ and depth $64dL+3$ can pointwise approximate a Lipschitz continuous function $f$ on $[0,1]^d$ with an exponential approximation rate $3\mu\sqrt{d}\,N^{-\sqrt{L}}$, where $\mu$ is the Lipschitz constant of $f$. More generally for an arbitrary continuous function $f$ on $[0,1]^d$ with a modulus of continuity $\omega_f(\cdot)$, the constructive approximation rate is $\omega_f(\sqrt{d}\,N^{-\sqrt{L}})+2\omega_f(\sqrt{d}){N^{-\sqrt{L}}}$. As a consequence, this new network overcomes the curse of dimensionality in approximation power since this approximation order is essentially $\sqrt{d}$ times a function of $N$ and $L$ independent of $d$.

연구 동기 및 목표

• 고차원 함수에 대해 초우수한 근사 능력을 지닌 딥 네트워크 아키텍처를 개발하기 위해.
• 뉴럴 네트워크의 함수 근사에서 차원의 저주 문제를 해결하기 위해.
• 오직 플로어 및 릴루 활성화 함수만을 사용하여 증명 가능하게 빠른 수렴 속도를 달성하는 네트워크를 구축하기 위해.
• 입력 차원 d에 관계없이 네트워크 너비 N과 깊이 L에 따라 유리하게 스케일링되는 근사 오차 한계를 확립하기 위해.
• 근사 속도가 √d에 대한 곱셈 인자로만 의존할 뿐, 차원에 따라 달라지는 지수로 의존하지 않음을 입증하기 위해.

제안 방법

• 정밀한 함수 근사 제어를 가능하게 하기 위해 오직 플로어 및 릴루 활성화 함수만을 사용하는 깊은 네트워크를 구축하기 위해.
• 충분한 표현 능력을 확보하기 위해 네트워크 깊이를 64dL + 3, 너비를 max{d, 5N+13}로 설계하기 위해.
• 미세한 척도에서 조각별로 일정한 근사값을 생성하기 위해 플로어 함수를 사용하여 근사값을 정밀하게 제어하기 위해.
• 플로어 기반 이산화와 릴루 기반 보간을 조합하여 연속 함수의 부드러운 근사값을 도출하기 위해.
• 연속성 모듈러스 ω_f를 통해 근사 오차 한계를 유도하여 오차가 ω_f(√d N^{-√L}) + 2ω_f(√d) N^{-√L}로 감소함을 보여주기 위해.
• 효과적인 근사 순서가 √d와 N, L의 함수의 곱으로 표현되며, 이는 d에 독립적이므로 차원의 저주를 극복함을 증명하기 위해.

실험 결과

연구 질문

• RQ1 오직 플로어 및 릴루 활성화 함수만을 사용하는 딥 네트워크가 [0,1]^d에서 연속 함수에 대해 지수적 근사율을 달성할 수 있는가?
• RQ2 근사 오차가 네트워크 너비 N과 깊이 L에 대해 유리하게 스케일링되며, 입력 차원 d에 독립적인가?
• RQ3 특정 활성화 기반 아키텍처를 통해 뉴럴 네트워크 근사에서 발생하는 차원의 저주를 극복할 수 있는가?
• RQ4 리프시츠 및 연속 함수에 대해 근사 오차가 N, L, d에 어떻게 의존하는가?
• RQ5 플로어 함수의 사용이 표준 릴루 네트워크에 비해 근사 능력을 어떻게 향상시키는가?

주요 결과

• 너비 max{d, 5N+13}와 깊이 64dL+3를 갖는 플로어-렐루 네트워크는 리프시츠 함수(상수 μ)에 대해 3μ√d N^{-√L}의 지수적 근사율을 달성한다.
• 일반적인 연속 함수의 경우 근사 오차는 ω_f(√d N^{-√L}) + 2ω_f(√d) N^{-√L}로 유계지며, 여기서 ω_f는 연속성 모듈러스이다.
• 효과적인 근사 순서는 √d와 N, L의 함수의 곱으로 표현되며, 이는 d에 독립적이므로 차원의 저주가 극복됨을 보여준다.
• 플로어 함수의 사용은 미세한 스케일의 이산화를 가능하게 하며, 이는 릴루와 조합될 때 고정밀 근사가 가능하게 한다.
• 근사 속도는 N에 대해 어떤 다항식보다도 더 빠르게 감소하며, 깊이 및 너비 측면에서 지수적 수렴에 가까운 성능을 달성한다.
• 네트워크 아키텍처는 명시적으로 구성되어 있으며, 무작위 또는 암묵적인 학습 절차에 의존하지 않아 이론적 보장을 보장한다.