[논문 리뷰] Approximation power of random neural networks

Bolton Bailey, Ziwei Ji외 2명|arXiv (Cornell University)|2019. 06. 18.

Neural Networks and Applications참고 문헌 28인용 수 8

한 줄 요약

이 논문은 무작위 신경망의 세 가지 유형—무한히 넓은 네트워크(임의의 가중치 분포를 가짐), 부분 샘플링된 유한한 너비의 네트워크, 보정된 유한한 너비의 네트워크—에 대해 완전히 정량화된 근사 속도를 확립한다. 연속 함수는 $\|f\|_1 (d/\delta)^{\mathcal{O}(d)}$의 복잡도 스케일링을 통해 근사 가능하며, 여기서 $\delta$는 함수의 연속성 정도를 반영하고, 복잡도는 가중치 크기 또는 네트워크의 기수에 따라 달라진다.

ABSTRACT

This paper investigates the approximation power of three types of random neural networks: (a) infinite width networks, with weights following an arbitrary distribution; (b) finite width networks obtained by subsampling the preceding infinite width networks; (c) finite width networks obtained by starting with standard Gaussian initialization, and then adding a vanishingly small correction to the weights. The primary result is a fully quantified bound on the rate of approximation of general general continuous functions: in all three cases, a function $f$ can be approximated with complexity $\|f\|_1 (d/δ)^{\mathcal{O}(d)}$, where $δ$ depends on continuity properties of $f$ and the complexity measure depends on the weight magnitudes and/or cardinalities. Along the way, a variety of ancillary results are developed: an exact construction of Gaussian densities with infinite width networks, an elementary stand-alone proof scheme for approximation via convolutions of radial basis functions, subsampling rates for infinite width networks, and depth separation for corrected networks.

연구 동기 및 목표

• 다양한 아키텍처 가정 하에서 무작위 신경망의 근사 능력을 이해하기 위해.
• 일반적인 연속 함수가 무작위 네트워크에 의해 근사될 수 있는 속도를 정량화하기 위해.
• 함수의 연속성($\delta$)과 가중치 성질에 따라 의존하는 복잡도 상한을 확립하기 위해.
• 무한 너비 설정에서 깊이 분리 및 부분 샘플링 효과를 탐구하기 위해.
• 반경 기저 함수 컨볼루션을 통한 근사에 대한 자가 포함된 증명 프레임워크를 제공하기 위해.

제안 방법

• 임의의 가중치 분포를 가진 무한 너비 무작위 네트워크를 분석하여 근사 상한을 도출한다.
• 무한 너비 네트워크에 부분 샘플링을 적용하여 제어된 근사 오차를 갖는 유한 너비 아키텍처를 구성한다.
• 기본적인 가우시안 초기화를 가진 유한 너비 네트워크에 작은 보정을 도입하여 향상된 근사 능력을 달성한다.
• 기반 도구로 반경 기저 함수를 사용하는 컨볼루션 기반 근사 기법을 활용한다.
• $\|f\|_1$, 차원 $d$, 연속성 모듈러스 $\delta$에 기반한 복잡도 상한을 유도하며, 이는 $\mathcal{O}(d)$의 지수를 갖는다.
• 기술적 보조정리로써 무한 너비 네트워크를 사용한 가우시안 밀도의 정확한 구성 방법을 개발한다.

실험 결과

연구 질문

• RQ1 임의의 가중치 분포를 가진 무한 너비 무작위 신경망이 연속 함수에 대해 근사 속도는 어떻게 되는가?
• RQ2 무한 너비 네트워크에 부분 샘플링을 적용하면 근사 능력과 복잡도에 어떤 영향을 미치는가?
• RQ3 기본적인 가우시안 초기화를 가진 유한 너비 네트워크에 작은 보정을 가미하면 근사 능력이 크게 향상되는가?
• RQ4 반경 기저 함수 컨볼루션은 무작위 네트워크에 대한 일반적인 근사 상한을 확립하는 데 어떤 역할을 하는가?
• RQ5 보정된 유한 너비 네트워크에서 깊이 분리 현상이 나타나며, 만약 그렇다면 어떤 조건에서 나타나는가?

주요 결과

• 모든 연속 함수 $f$에 대해 근사 오차는 $\|f\|_1 (d/\delta)^{\mathcal{O}(d)}$ 이하로 제한되며, 여기서 $\delta$는 $f$의 연속성 모듈러스를 반영한다.
• 임의의 가중치 분포를 가진 무한 너비 네트워크는 가우시안 밀도를 정확히 표현할 수 있으며, 이는 분석에 핵심적인 기술적 도구가 된다.
• 무한 너비 네트워크에 부분 샘플링을 적용해도 근사 능력이 유지되며, 정확한 정밀도를 유지하기 위한 명시적 부분 샘플링 비율이 유도된다.
• 기본 가우시안 초기화를 가진 유한 너비 네트워크에 매우 작은 보정을 가미함으로써 강력한 근사 성능을 달성하며, 이는 깊이 분리 효과를 보여준다.
• 반경 기저 함수 컨볼루션을 통한 근사에 대한 자가 포함된 증명이 독립적인 기여로 개발되었다.
• 복잡도 상한은 $f$의 $L^1$ 노름과 차원 $d$ 및 연속성 모듈러스 $\delta$ 간의 상호작용에 따라 달라지며, 지수는 $\mathcal{O}(d)$이다.