[논문 리뷰] Error bounds for deep ReLU networks using the Kolmogorov--Arnold superposition theorem

Hadrien Montanelli, Haizhao Yang|arXiv (Cornell University)|2019. 06. 27.

Neural Networks and Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 콜모고로프–아르놀드 초월 정리의 구성적 버전을 활용하여 다변수 함수를 근사하는 딥 ReLU 네트워크의 오차 한계를 수립한다. 특정 연속 함수의 클래스에 대해 네트워크의 깊이와 크기는 $\mathcal{O}(\epsilon^{-\log n})$로 스케일링되며, 기존의 표준적인 $\mathcal{O}(\epsilon^{-n})$ 성장과 비교해 차원의 저주를 크게 줄인다.

ABSTRACT

We prove a theorem concerning the approximation of multivariate functions by deep ReLU networks, for which the curse of the dimensionality is lessened. Our theorem is based on a constructive proof of the Kolmogorov--Arnold superposition theorem, and on a subset of multivariate continuous functions whose outer superposition functions can be efficiently approximated by deep ReLU networks.

연구 동기 및 목표

• 딥 러닝 근사에서 차원의 저주 문제를 다루기 위해 딥 ReLU 네트워크의 오차 한계를 구성함으로써 해결한다.
• 콜모고로프–아르놀드 초월 정리가 다변수 함수의 효율적 근사를 가능하게 하여 네트워크 복잡도를 감소시킬 수 있음을 보여준다.
• 외부 함수가 딥 ReLU 네트워크에 의해 효율적으로 근사될 수 있는 연속 다변수 함수의 클래스를 규명한다.
• 리프시츠 연속인 내부 및 외부 함수를 사용하여 초월 정리의 구성적 증명을 제공함으로써 실용적인 네트워크 설계를 가능하게 한다.

제안 방법

• 내부 함수 $\psi(x_i + ja)$와 외부 함수 $\phi_j$를 사용한 콜모고로프–아르놀드 초월 정리의 구성적 버전을 활용한다.
• 딥 ReLU 네트워크 아키텍처를 사용하여 내부 함수 $\psi$와 외부 함수 $\phi_j$를 근사하며, 하위 네트워크 $\widetilde{\psi}$와 $\widetilde{\phi}_j^r$를 활용한다.
• 삼각 부등식을 적용하여 총 근사 오차를 내부 및 외부 함수 근사 오차의 합으로 bound한다.
• 총 오차 $\|f - \tilde{f}_r\|_{L^\infty} \leq \epsilon$을 확보하기 위해 $\epsilon_\psi = \frac{n\epsilon}{2(2n+1)^2\nu_r(f)}$ 및 $\epsilon_\phi = \frac{\epsilon}{4(2n+1)}$로 설정하여 오차 한계를 유도한다.
• 재귀적 네트워크 구성 방식을 통해 깊이 $L \leq c_0(1)(W_\psi + W_\phi)$ 및 크기 $W \leq n(2n+1)W_\psi + (2n+1)W_\phi$를 확보한다.
• 네트워크 크기의 한계를 설정: $W_\psi \leq \tilde{c}_3(n,r(\epsilon))\epsilon^{-[1+\log_2(n+1)]/2}$ 및 $W_\phi \leq \tilde{c}_4(n,r(\epsilon))\epsilon^{-1/2}$.

실험 결과

연구 질문

• RQ1 딥 ReLU 네트워크는 오차 $\epsilon$로 다변수 함수를 근사할 수 있으며, 이때 네트워크 크기가 $\mathcal{O}(\epsilon^{-n})$보다 느리게 증가하는가?
• RQ2 콜모고로프–아르놀드 초월 정리는 딥 러닝에서 차원의 저주를 줄이기 위해 어떻게 구성적으로 활용될 수 있는가?
• RQ3 초월 정리의 내부 및 외부 함수를 제어 가능한 오차로 근사하기 위해 필요한 최소 네트워크 깊이와 크기는 무엇인가?
• RQ4 근사 오차를 내부 및 외부 함수 근사 오차를 별도로 제어함으로써 분해하고 bound할 수 있는가?

주요 결과

• 특정 연속 다변수 함수의 클래스에 대해, 딥 ReLU 네트워크는 오차 $\epsilon$로 이를 근사할 수 있으며, 네트워크 크기가 $\mathcal{O}(\epsilon^{-\log n})$로 스케일링되어 차원의 저주가 크게 감소한다.
• 내부 함수 $\psi$를 근사하는 데 필요한 네트워크 크기는 $\tilde{c}_3(n,r(\epsilon))\epsilon^{-[1+\log_2(n+1)]/2}$로 스케일링되며, 차원 $n$과 함수의 정칙성 $r(\epsilon)$에 명시적인 의존성을 가진다.
• 외부 함수 $\phi_j$를 근사하는 데 필요한 네트워크 크기는 $\tilde{c}_4(n,r(\epsilon))\epsilon^{-1/2}$로 스케일링되며, 지수에서 차원에 영향을 받지 않는다.
• 총 네트워크 크기는 $W \leq n(2n+1)W_\psi + (2n+1)W_\phi$로 bound되며, 깊이 $L \leq c_0(1)(W_\psi + W_\phi)$이다.
• 내부 및 외부 함수 근사 오차를 균형 있게 조정함으로써 오차 한계를 확보하며, $\epsilon_\psi$ 및 $\epsilon_\phi$를 선택하여 $\|f - \tilde{f}_r\|_{L^\infty} \leq \epsilon$을 확보한다.