[논문 리뷰] The Representation Power of Neural Networks: Breaking the Curse of Dimensionality

Moise Blanchard, Mohammed Amine Bennouna|arXiv (Cornell University)|2020. 12. 09.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 Korobov 공간의 함수를 근사할 때 얕은 신경망과 깊은 신경망이 뒤얽힌 차원의 저주를 극복할 수 있음을 입증한다. 이들에서는 얕은 신경망의 경우 파arameter 복잡도가 $O(\epsilon^{-1} \log^{(3d-1)/2}(1/\epsilon))$이고 깊은 신경망의 경우 $O(\epsilon^{-1/2} \log^{(3d-1)/2}(1/\epsilon))$로, 이는 어떤 연속 함수 근사기에도 필요한 이론적 최소값에 거의 근접한다. 이는 신경망이 이 함수류에 대해 거의 최적임을 증명한다.

ABSTRACT

In this paper, we analyze the number of neurons and training parameters that a neural networks needs to approximate multivariate functions of bounded second mixed derivatives -- Korobov functions. We prove upper bounds on these quantities for shallow and deep neural networks, breaking the curse of dimensionality. Our bounds hold for general activation functions, including ReLU. We further prove that these bounds nearly match the minimal number of parameters any continuous function approximator needs to approximate Korobov functions, showing that neural networks are near-optimal function approximators.

연구 동기 및 목표

• 다중 변수 함수의 이阶 혼합 도함수의 유계성을 가지는 함수를 근사하기 위해 필요한 뉴런 수와 학습 파rameter 수를 분석하는 것.
• 얕은 신경망과 깊은 신경망이 Korobov 공간, 즉 일반적이고 구조화된 함수 클래스에 대해 차원의 저주를 극복할 수 있는지 판단하는 것.
• 필요한 파rameter 수에 대한 날카운 상한 및 하한을 설정하여, 신경망이 함수 근사기로서 거의 최적임을 입증하는 것.
• 이 함수 클래스에 대해 얕은 신경망과 깊은 신경망의 표현 능력을 비교하여, 둘 다 차원에 영향을 받지 않는 근사 효율성을 달성할 수 있음을 보여주는 것.

제안 방법

• 저자들은 함수의 분리 가능성과 매끄러움을 활용하여, 컴 pact 지지 집합을 가진 버블 함수를 기반으로 Korobov 함수를 근사하기 위한 기저를 구성한다.
• DeVore의 연속 함수 근사기 이론을 적용하여, $\epsilon$ 이내의 근사 오차를 확보하기 위해 필요한 파rameter 수의 하한을 유도한다.
• 얕은 네트워크의 경우, ReLU 활성화를 사용하는 2층 신경망이 $O(\epsilon^{-1} \log^{(3d-1)/2}(1/\epsilon))$개의 뉴런과 $O(\epsilon^{-1/2} \log^{(3d-1)/2}(1/\epsilon))$개의 학습 파rameter로 Korobov 함수를 근사할 수 있음을 증명한다.
• 깊은 네트워크의 경우, $\epsilon$에 독립적인 깊이 $\lceil \log_2 d \rceil + 1$을 가지며, $\mathcal{C}^2$ 활성화 함수를 사용하는 네트워크를 구성하여, $O(\epsilon^{-1/2} \log^{(3d-1)/2}(1/\epsilon))$개의 뉴런과 파rameter를 달성한다.
• 모든 연속 함수 근사기의 경우 파rameter 수에 대한 하한은 $\Theta(\epsilon^{-1/2} \log^{(d-1)/2}(1/\epsilon))$임을 증명하며, 이는 얕은 및 깊은 신경망의 상한과 거의 일치한다.
• 기저 함수의 도함수를 제어하고 근사 오차와 연결하기 위해 소볼레프 노름 제어와 보간 부등식을 활용한다.

실험 결과

연구 질문

• RQ1 얕은 신경망은 Korobov 공간의 함수에 대해 차원의 저주를 극복할 수 있는가?
• RQ2 깊은 신경망은 Korobov 함수를 근사할 때 이전의 구성보다 더 높은 파rameter 효율성을 달성하는가?
• RQ3 이 근사 작업에 필요한 파rameter 수가 모든 연속 함수 근사기 중 거의 최소인가?
• RQ4 얕은 및 깊은 네트워크의 파rameter 수에 대한 상한이 근사 이론에서 알려진 하한과 어떻게 비교되는가?

주요 결과

• 얕은 ReLU 네트워크는 $O(\epsilon^{-1} \log^{(3d-1)/2}(1/\epsilon))$개의 뉴런과 $O(\epsilon^{-1/2} \log^{(3d-1)/2}(1/\epsilon))$개의 학습 파rameter로 Korobov 함수를 $\epsilon$ 오차 이내로 근사할 수 있으며, 이는 차원의 저주를 극복함을 의미한다.
• $\mathcal{C}^2$ 활성화 함수를 사용하는 깊은 네트워크는 얕은 네트워크와 동일한 파rameter 복잡도를 달성하지만, 깊이가 $\epsilon$에 독립적이며 구체적으로 $\lceil \log_2 d \rceil + 1$층을 가진다.
• 제안된 깊은 네트워크 구성은 이전의 몬타넬리와 두의 작업을 향상시켜 깊이를 $O(\log(1/\epsilon) \log d)$에서 $O(\log d)$로 줄였고, 뉴런 수를 $\log(1/\epsilon)$ 요소만큼 감소시켰다.
• 모든 연속 함수 근사기의 경우 파rameter 수에 대한 하한은 $\Theta(\epsilon^{-1/2} \log^{(d-1)/2}(1/\epsilon))$이며, 이는 얕은 및 깊은 네트워크의 상한과 거의 일치한다. 이는 거의 최적성임을 증명한다.
• 결과는 ReLU 이외의 활성화 함수, 특히 충분한 매끄러움을 가진 함수들에도 일반화되며, 이는 정리 3.9에 의해 보여진다.
• 분석 결과는 신경망이 Korobov 함수에 대해 효과적이라는 것뿐만 아니라, 연속 함수 근사기의 클래스 내에서 이론적으로 거의 최적임을 확인한다.