[논문 리뷰] Error bounds for approximations with deep ReLU networks

Dmitry Yarotsky|arXiv (Cornell University)|2016. 10. 03.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 소볼레프 공간에서 깊이 있는 ReLU 신경망의 근사 복잡도에 대해 엄밀한 상한과 하한을 확립하며, 부드러운 함수를 근사할 때 깊이 있는 네트워크가 얕은 네트워크보다 현저히 뛰어나다는 것을 보여준다. 깊이 6의 적응형 ReLU 네트워크가 1차원 리프시츠 함수를 $ O(1/(\epsilon \epsilon)) $ 복잡도로 근사할 수 있음을 증명하며, 이는 표준 얕은 아키텍처보다 우수하며 고전적인 비선형 폭 이론에서의 하한을 도전한다.

ABSTRACT

We study expressive power of shallow and deep neural networks with piece-wise linear activation functions. We establish new rigorous upper and lower bounds for the network complexity in the setting of approximations in Sobolev spaces. In particular, we prove that deep ReLU networks more efficiently approximate smooth functions than shallow networks. In the case of approximations of 1D Lipschitz functions we describe adaptive depth-6 network architectures more efficient than the standard shallow architecture.

연구 동기 및 목표

• 깊이 있는 ReLU 네트워크의 표현 능력이 소볼레프 공간에서 얕은 네트워크와 비교해 얼마나 되는지 정량화하는 것.
• 고정형 vs. 적응형, 깊이 제약 등 아키텍처 선택이 근사 복잡도에 미치는 영향을 분석하는 것.
• 함수 공간 $ \mathcal{W}^{n,\infty}([0,1]^d) $ 에서 근사하기 위한 네트워크 복잡도에 대해 날카운 상한과 하한을 확립하는 것.
• 지속적인 가중치 선택과 비지속적인 가중치 선택이 근사 효율성에 미치는 영향을 조사하는 것.
• 부드러운 활성화 함수를 사용하는 얕은 네트워크와 깊이 있는 ReLU 네트워크의 근사 복잡도를 비교하는 것.

제안 방법

• 깊이, 폭, 가중치 수를 복잡도 측정 기준으로 삼는 ReLU 네트워크 모델을 체계화하는 것.
• 복잡도 상수 요소 이내에서 임의의 연속적인 조각별 선형 활성화 함수로 ReLU를 대체할 수 있음을 증명하는 것 (제1의 정리).
• 함수 $ x^2 $ 를 근사하고 근사적 곱셈을 구현하기 위해 깊이 $ O(\ln(1/\epsilon)) $ 의 네트워크를 구성하는 것 (제2–3의 정리).
• 1차원 리프시츠 함수를 근사하기 위해 깊이 6의 적응형 ReLU 네트워크 아키텍처를 설계하여 $ O(1/(\epsilon \ln(1/\epsilon))) $ 복잡도를 달성하는 것 (정리 2).
• 지속적인 가중치 선택 하에서 하한을 도출하기 위해 연속적인 비선형 폭의 방법을 적용하는 것 (서브섹션 4.1).
• 비지속적인 가중치 선택과 불리안 회로 이론에서 영감을 얻은 하위네트워크 재사용 기법을 활용하여 개선된 상한을 달성하는 것 (정리 2).

실험 결과

연구 질문

• RQ1 소볼레프 공간의 함수에 대해 깊이 있는 ReLU 네트워크의 근사 복잡도가 얕은 네트워크와 비교해 어떻게 되는가?
• RQ2 적응형 네트워크 아키텍처가 고정형 아키텍처보다 근사 복잡도를 크게 감소시킬 수 있는가?
• RQ3 1차원 리프시츠 함수를 ReLU 네트워크로 근사하기 위해 필요한 최소 깊이와 복잡도는 얼마인가?
• RQ4 비지속적인 가중치 선택이 지속적인 선택보다 근사 효율을 얼마나 향상시킬 수 있는가?
• RQ5 깊이 있는 ReLU 네트워크의 근사 한계가 부드러운 활성화 함수를 사용하는 얕은 네트워크의 근사 한계와 비교해 어떻게 되는가?

주요 결과

• 깊이 있는 ReLU 네트워크는 $[0,1]^d$ 에서 $ C^n $-함수를 $ O(\epsilon^{-d/n} \ln(1/\epsilon)) $ 복잡도로 근사할 수 있으며, 이는 알려진 얕은 부드러운 네트워크의 복잡도와 로그 인자 외에는 일치한다.
• 1차원 리프시츠 함수의 경우, 깊이 6의 적응형 ReLU 네트워크가 $ O(1/(\epsilon \ln(1/\epsilon))) $ 복잡도를 달성하며, 일반적인 $ d,n $ 에 대해 $ \Omega(\epsilon^{-d/(9n)}) $ 의 하한보다 낮아, 효율성 향상을 시사한다.
• 고정 아키텍처와 지속적인 가중치 선택 조건 하에서 $ \mathcal{W}^{1,\infty}([0,1]) $ 의 하한은 $ \Omega(\epsilon^{-1}) $ 이고, 상한은 $ O(\epsilon^{-1} \ln(1/\epsilon)) $ 이며, 이는 로그 인자 외에는 엄밀한 상한임을 보여준다.
• 깊이가 $ O(\ln^p(1/\epsilon)) $ 로 제약될 경우, 비제약 가중치 선택 조건 하에서의 하한은 $ \Omega(\epsilon^{-d/n} \ln^{-2p-1}(1/\epsilon)) $ 이며, 상한과의 차이는 오직 로그 인자 수준이다.
• 적응형 아키텍처 설정에서 상한과 하한의 격차는 여전히 크다: 상한은 $ O(1/(\varepsilon \ln(1/\varepsilon))) $ 이고, 알려진 최고의 하한은 $ \Omega(\varepsilon^{-d/(9n)}) $ 이며, 이는 향후 개선의 여지를 시사한다.
• 유한 깊이 아키텍처에서 하위네트워크 재사용을 활용하면 고전적인 비선형 폭 한계를 뛰어넘는 복잡도를 달성할 수 있으며, 이는 깊이 있는 네트워크에서 아키텍처 적응성의 우수성을 보여준다.