[논문 리뷰] Barron Spaces and the Compositional Function Spaces for Neural Network Models.

E Weinan, Chao Ma외 1명|arXiv (Cornell University)|2019. 06. 18.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 76

한 줄 요약

이 논문은 두 층으로 이루어진 신경망에 대해 최적의 함수 공간으로 바론 공간(Barron space)을 도입하며, 이 공간 내에서 최적의 직접 및 역방향 근사 정리들을 증명한다. 잔차 신경망(Residual networks)에 대해서는 구성 함수 공간(compositional function space)을 정의하고, 유사한 근사 정리들을 수립하며, 두 공간에 대해 날카로운 라데마처 복잡도 상한을 제시한다.

ABSTRACT

One of the key issues in the analysis of machine learning models is to identify the appropriate function space for the model. This is the space of functions that the particular machine learning model can approximate with good accuracy, endowed with a natural norm associated with the approximation process. In this paper, we address this issue for two representative neural network models: the two-layer networks and the residual neural networks. We define Barron space and show that it is the right space for two-layer neural network models in the sense that optimal direct and inverse approximation theorems hold for functions in the Barron space. For residual neural network models, we construct the so-called compositional function space, and prove direct and inverse approximation theorems for this space. In addition, we show that the Rademacher complexity has the optimal upper bounds for these spaces.

연구 동기 및 목표

• 두 층 신경망에 적합한 함수 공간을 규명하여 최적의 근사 성질을 확보하는 것.
• 잔차 신경망의 특성에 맞는 구성 함수 공간을 정의하여 엄밀한 근사 분석을 수행하는 것.
• 바론 공간과 구성 함수 공간에 대해 직접 및 역방향 근사 정리들을 수립하는 것.
• 이 함수 공간 내에서 라데마처 복잡도가 최적의 상한에 도달함을 보이는 것.
• 함수 공간 분석을 통해 딥 러닝 모델의 일반화 및 근사 성능에 대한 이론적 기반을 제공하는 것.

제안 방법

• 두 층 신경망이 최적의 근사 속도를 달성하는 함수 공간으로 바론 공간을 정의한다.
• 바론 공간 내에서 직접 및 역방향 근사 정리를 수립하여, 이 공간에 속하는 함수들이 두 층 신경망에 의해 효율적으로 근사 가능함을 보인다.
• 잔차 신경망의 아키텍처를 반영하기 위해 계층적 함수 조합 기반의 구성 함수 공간을 구축한다.
• 바론 공간과 유사하게 구성 함수 공간 내에서도 직접 및 역방향 근사 정리를 증명한다.
• 라데마처 복잡도를 분석하고, 두 함수 공간에 대해 최적의 상한을 유도하며, 일반화 성능과 함수 공간의 구조를 연결한다.
• 노름 기반 분석과 근사 이론을 활용하여 네트워크 용량과 함수 공간 성질 간의 관계를 규명한다.

실험 결과

연구 질문

• RQ1 두 층 신경망에 대한 최적의 함수 공간은 무엇이며, 그 근사 성질은 어떠한가?
• RQ2 잔차 신경망의 인덕티브 바이어스를 모델링하기 위해 어떤 방식으로 함수 공간을 구성할 수 있는가?
• RQ3 제안된 함수 공간에서 두 네트워크 유형에 대해 직접 및 역방향 근사 정리가 성립하는가?
• RQ4 이들 공간 내 함수에 대한 라데마처 복잡도의 최적 상한은 무엇인가?
• RQ5 이러한 함수 공간 성질은 신경망의 일반화 및 근사 정확도와 어떻게 관련이 있는가?

주요 결과

• 바론 공간은 두 층 신경망에 대해 최적의 함수 공간이며, 이 공간 내에서 직접 및 역방향 근사 정리가 성립한다.
• 구성 함수 공간은 잔차 신경망에 대한 자연스러운 함수 공간으로 도입되었으며, 유사한 근사 정리를 지원한다.
• 바론 공간과 구성 함수 공간 양쪽에 대해 최적의 상한이 확립된 라데마처 복잡도를 제시한다.
• 바론 공간에 속하는 함수의 근사 오차는 두 층 신경망의 파라미터 수에 대해 최적의 속도로 감소한다.
• 구성 함수 공간은 잔차 신경망의 계층적 인덕티브 바이어스를 반영하여, 그 표현 능력에 대한 이론적 분석을 가능하게 한다.
• 이론적 프레임워크는 현대 신경망 아키텍처에서의 일반화 및 근사 성능을 통합적으로 이해하는 기반을 제공한다.