[논문 리뷰] Bounds on the Approximation Power of Feedforward Neural Networks

Mohammad Mehrabi, Aslan Tchamkerten외 1명|arXiv (Cornell University)|2018. 06. 29.

Neural Networks and Applications인용 수 3

한 줄 요약

이 논문은 조각별 선형 활성화 함수를 갖는 피드포워드 신경망의 근사 능력에 대해 더 강력한 경계를 설정한다. 특히 ReLU에 대해 분석한다. 주어진 오차 내에서 함수를 근사하기 위해 필요한 네트워크 크기(깊이 및 너비)에 대한 개선된 하한을 도출하며, 동일한 가중치를 갖지만 다른 활성화 함수를 사용하는 두 네트워크 간의 차이에 대한 새로운 상한을 제안한다. 이 차이는 깊이에 따라 지수적으로 증가하지만, 활성화 함수의 유사성과 네트워크의 너비에 의해 제어됨을 보여준다.

ABSTRACT

The approximation power of general feedforward neural networks with piecewise linear activation functions is investigated. First, lower bounds on the size of a network are established in terms of the approximation error and network depth and width. These bounds improve upon state-of-the-art bounds for certain classes of functions, such as strongly convex functions. Second, an upper bound is established on the difference of two neural networks with identical weights but different activation functions.

연구 동기 및 목표

• 주어진 함수를 특정 오차 내에서 근사하기 위해 필요한 피드포워드 신경망의 크기(깊이 및 너비)에 대한 더 강력한 하한을 설정하는 것.
• 점근적 볼록 함수와 같은 특정 함수 클래스에 대해, 브레이크 포인트 수를 세는 방식으로 네트워크 용량을 분석함으로써 기존 최상의 결과를 초월하는 경계를 개선하는 것.
• 동일한 가중치를 갖지만 다른 활성화 함수를 사용하는 두 네트워크 간의 차이에 대한 상한을 도출하여, 활성화 함수 선택이 네트워크 출력에 미치는 영향을 정량화하는 것.
• 근사 능력 측면에서 깊이와 너비 사이의 트레이드오프를 분석하여, 깊이가 너비에 비해 표현 능력 증가에 지수적 이점을 제공함을 보여주는 것.

제안 방법

• Raghu 등(2017)의 뉴런 상태 전이 분석을 활용하여, 네트워크가 생성할 수 있는 선형 조각 수(브레이크 포인트 수)에 대한 더 강력한 상한을 유도한다.
• 깊이 $ d $ 를 기준으로 이전 연구(야로츠키, 2017) 대비 $ d^d $ 배 향상된 곱셈 계수를 도출한다.
• 개선된 브레이크 포인트 상한과 오차 및 차원에 의존하는 하한을 조합하여, 근사에 필요한 깊이, 너비, 오차, 입력 차원에 대한 필수 조건을 유도한다.
• 동일한 가중치를 갖지만 다른 활성화 함수 $ \rho $-리프시츠 및 $ L^\natural $-노름에서 $ \rho $-근접한 두 네트워크의 은닉 유닛 출력 차이에 대한 재귀적 분석을 도입한다.
• 각 층의 최대 출력 차이를 유 bounds하기 위한 재귀 관계식 $ \varepsilon_{i+1}(\boldsymbol{x}) \leq \varepsilon + \delta A \sum_{j=1}^i \omega_j \varepsilon_j(\boldsymbol{x}) $ 을 유도한다.
• 이 재귀 관계를 활용하여 최종 상한을 유도한다: $ |f_1(\boldsymbol{x}) - f_2(\boldsymbol{x})| \leq \frac{||\sigma_1 - \sigma_2||_\infty}{\delta} \left( (\delta A \omega_f + 1)^{d_f} - 1 \right) $, 깊이에 대한 지수적 의존성을 보여준다.

실험 결과

연구 질문

• RQ1 조각별 선형 피드포워드 네트워크에서 네트워크 깊이와 너비가 함께 근사 오차에 어떻게 영향을 미치는가?
• RQ2 브레이크 포인트 수를 세는 방식을 통해 점근적 볼록 함수와 같은 특정 함수 클래스에 대해 더 강력한 네트워크 크기 하한을 도출할 수 있는가?
• RQ3 동일한 가중치를 갖지만 다른 활성화 함수를 사용하는 두 네트워크 간의 최대 차이는 얼마이며, 깊이와 너비에 따라 어떻게 척도가 변하는가?
• RQ4 기본적으로 동일한 네트워크일 경우 활성화 함수의 선택이 출력 차이에 어떻게 영향을 미치며, 이는 네트워크 크기와 독립적으로 유 bounds될 수 있는가?
• RQ5 활성화 함수의 매끄러움과 리프시츠 상수는 서로 다른 활성화 함수를 갖는 두 네트워크 간의 편차를 제어하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 야로츠키(2017) 대비 깊이 $ d $ 에 비례하여 $ d^d $ 배 향상된 상한을 도출하여, ReLU 네트워크가 생성할 수 있는 선형 조각 수(브레이크 포인트 수)에 대한 이론적 이해를 크게 강화한다.
• 점근적 볼록 함수에 대해 유도된 네트워크 크기(깊이 및 너비)에 대한 하한은 이전 최상의 결과보다 더 강력하여, 이러한 함수에 대해 더 깊은 네트워크가 더 효율적임을 시사한다.
• 동일한 가중치를 갖지만 다른 활성화 함수를 사용하는 두 네트워크 간의 차이에 대한 상한이 확립된다: $ |f_1(\boldsymbol{x}) - f_2(\boldsymbol{x})| \leq \frac{||\sigma_1 - \sigma_2||_\infty}{\delta} \left( (\delta A \omega_f + 1)^{d_f} - 1 \right) $, 깊이에 대한 지수적 의존성을 보여준다.
• 출력 차이 상한은 깊이 $ d_f $ 에 따라 지수적으로 증가하지만, 활성화 함수의 유사성( $ ||\sigma_1 - \sigma_2||_\infty $ 로 측정됨)과 네트워크의 너비 $ \omega_f $ 에 의해 제어되며, 깊은 네트워크에서는 활성화 함수의 미세한 변화가 큰 출력 차이를 유도할 수 있음을 시사한다.
• 분석 결과 깊이가 너비에 비해 표현 능력 증가에 지수적 이점을 제공함을 보여주며, 깊이에 따라 선형 조각 수가 지수적으로 증가하는 반면 너비는 다항식적 증가에 그친다.
• 특정 함수 클래스(예: 높은 곡률을 갖는 함수)에 대해 도출된 경계가 타당함을 입증하였으며, 이 경우 필요한 네트워크 크기에 대한 하한이 브레이크 포인트 수 계산으로부터 도출된 상한과 일치함을 보였다.