[논문 리뷰] On the Approximation Properties of Neural Networks

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|2019. 04. 04.

Neural Networks and Applications참고 문헌 12인용 수 8

한 줄 요약

이 논문은 두 층으로 이루어진 신경망에 대해 새로운 이론적 보장을 확립한다. 신경망의 은닉 뉴런들이 선형 독립적인 출력을 생성하는 조건을 증명하고, 뉴런 수가 증가함에 따라 근사율을 향상시킨다. 활성화 함수에 대한 가정을 완화하고, 비다항 함수일 경우에 두 층 신경망이 컴act 집합에서 조밀하다는 증명을 단순화한다.

ABSTRACT

We prove two new results concerning the approximation properties of neural networks. Our first result gives conditions under which the outputs of the neurons in a two layer neural network are linearly independent functions. Our second result concerns the rate of approximation of a two layer neural network as the number of neurons increases. We improve upon existing results in the literature by significantly relaxing the required assumptions on the activation function and by providing a better rate of approximation. We also provide a simplified proof that the class of functions represented by a two-layer neural network is dense in any compact set if the activation function is not a polynomial.

연구 동기 및 목표

• 두 층 신경망의 뉴런 출력이 선형 독립 함수가 되는 조건을 규명하는 것.
• 활성화 함수에 대한 더 약한 가정 하에 뉴런 수가 증가함에 따라 두 층 신경망의 근사율을 향상시키는 것.
• 활성화 함수가 비다항일 경우에 두 층 신경망이 컴act 집합에서 연속 함수를 근사할 수 있음을 증명하는 것을 단순화하는 것.
• 기존의 근사 이론 결과를 확장하여 활성화 함수에 대한 제약 조건을 완화하고, 해석적 함수성이나 특정 연속성 요구 조건을 제거하는 것.

제안 방법

• 신경망의 은닉층 출력의 랭크를 분석하여 뉴런 출력의 선형 독립성을 분석하는 방식.
• 기능 분석과 근사 이론을 활용하여 목표 함수와 두 층 신경망에 의한 근사 간의 오차를 제한하는 방식.
• 비다항 활성화 함수의 성질에 기반한 새로운 구성 방식을 도입하여 컴act 집합에서 연속 함수 공간에서의 조밀성을 보장하는 방식.
• 조화 분석 및 직교 함수 체계의 결과를 적용하여 향상된 수렴 속도를 유도하는 방식.
• 활성화 함수에 대한 가정을 완화하기 위해 해석적 성질이나 엄격한 단조성 요구 조건을 제거하고, 비다항 행동에 초점을 맞추는 방식.
• 스톤-바이어슈트라스 정리와 비다항 함수의 성질을 활용하여 조밀성 증명을 단순화하는 방식.

실험 결과

연구 질문

• RQ1 두 층 신경망의 뉴런 출력이 선형 독립이 되는 조건은 무엇인가?
• RQ2 뉴런 수가 증가함에 따라 근사 오차는 어떻게 감소하며, 활성화 함수에 대한 더 약한 가정 하에 이 속도를 향상시킬 수 있는가?
• RQ3 활성화 함수가 해석적이지 않아도 되는 조건에서 두 층 신경망이 컴act 집합에서 연속 함수 공간에서 조밀하다는 것을 증명할 수 있는가?
• RQ4 두 층 신경망에서 보편 근사 성질을 보장하기 위해 활성화 함수가 요구하는 최소한의 정규성 조건은 무엇인가?
• RQ5 일반성을 유지하면서 보편 근사 성질 증명을 어떻게 단순화할 수 있는가?

주요 결과

• 활성화 함수가 다항식이 아니고 입력 분포가 최대 지지역간을 갖는 한, 두 층 신경망의 뉴런 출력은 선형 독립이다.
• 활성화 함수에 대한 온건한 조건 하에서, 뉴런 수 N이 증가함에 따라 두 층 신경망의 근사 오차는 O(1/√N)의 속도로 감소한다.
• 이전 결과에 비해 활성화 함수가 해석적이거나 엄격히 단조적이어야 한다는 요구 조건을 완화함으로써 개선된 결과를 도출한다.
• 비다항 활성화 함수일 경우에 두 층 신경망이 임의의 컴act 집합 K에서 C(K) 공간에서 조밀하다는 것을 보여주는 단순화된 증명을 제시한다.
• 은닉 유닛 출력의 선형 독립성은 은닉층 맵의 야코비안의 비특이성에 의해 확립된다.
• 다양한 함수 클래스를 표현하는 데 있어 비다항 활성화 함수의 풍부함을 활용하여 향상된 근사 속도를 달성한다.