[논문 리뷰] The Barron Space and the Flow-induced Function Spaces for Neural Network Models

E Weinan, Chao Ma외 1명|arXiv (Cornell University)|2019. 06. 18.

Model Reduction and Neural Networks참고 문헌 17인용 수 6

한 줄 요약

이 논문은 두 층 신경망에 최적의 함수 공간으로 바론 공간을, 잔차 신경망에 대해 유동 유도 함수 공간을 도입하여 직접 및 역방향 근사 정리와 최적의 라데마처 복잡도 상한을 확립한다. 이러한 공간들은 각각의 모델에 의해 효율적으로 근사될 수 있는 함수를 특성화하며, 노름이 근사 오차와 추정 오차를 제어하여 차원에 종속되지 않는 오차 비율과 최적의 일반화 스케일링을 가능하게 한다.

ABSTRACT

One of the key issues in the analysis of machine learning models is to identify the appropriate function space and norm for the model. This is the set of functions endowed with a quantity which can control the approximation and estimation errors by a particular machine learning model. In this paper, we address this issue for two representative neural network models: the two-layer networks and the residual neural networks. We define the Barron space and show that it is the right space for two-layer neural network models in the sense that optimal direct and inverse approximation theorems hold for functions in the Barron space. For residual neural network models, we construct the so-called flow-induced function space, and prove direct and inverse approximation theorems for this space. In addition, we show that the Rademacher complexity for bounded sets under these norms has the optimal upper bounds.

연구 동기 및 목표

• 두 층 및 잔차 신경망 모델의 근사 오차와 추정 오차를 제어하는 데 적합한 함수 공간과 노름을 규명하는 것.
• 신규 정의된 함수 공간을 사용하여 이러한 모델에 대한 직접 및 역방향 근사 정리를 수립하는 것.
• 이러한 공간의 유계 집합에서의 라데마처 복잡도가 최적의 상한에 도달함을 보여주어 최적의 일반화 오차 스케일링을 가능하게 하는 것.
• 함수 공간의 정규성과 근사 효율성 간의 연결을 통해 신경망이 차원의 저주를 어떻게 극복하는지 이론적 기반을 제공하는 것.
• 핵 함수 방법(RKHS)과 신경망 간의 유사성을 확장하여 딥 러닝 아키텍처에 대해 유사한 함수 공간을 정의하는 이론적 프레임워크를 수립하는 것.

제안 방법

• 바론 공간을 정의하여, 가중치 공간의 단위 구면 위의 유계 측도의 적분 변환으로 표현 가능한 함수의 집합으로 간주하고, 바론 노름은 이러한 표현의 복잡도를 측정한다.
• 잔차 아키텍처에서 유도된 경로 기반 노름을 사용하여 잔차 신경망의 유동 유도 함수 공간을 구성하며, 노름은 잔차 경로를 따라 행렬 곱으로 정의된다.
• 바론 공간 및 유동 유도 공간에 속한 함수들이 뉴런 수 $ m $ 에 대해 $ O(1/m) $ 의 오차 비율로 신경망에 의해 근사될 수 있음을 보여주는 직접 근사 정리를 증명한다.
• 만약 어떤 함수가 이러한 오차 비율로 근사될 수 있다면, 반드시 해당 함수 공간에 속해야 한다는 역방향 근사 정리를 수립한다.
• 이 공간의 유계 집합에서의 라데마처 복잡도에 대해 최적의 상한을 유도하여 $ \operatorname{Rad}_{n}(\mathcal{F}^{Q}) \leq C_{0} \frac{Q}{\sqrt{n}} $ 라는 결과를 도출하며, 이는 핵 함수 방법의 최적 비율과 일치한다.
• 예를 들어 가중치 경로 노름과 같은 연속 노름의 이산적 유사체를 사용하여 잔차 신경망을 분석하고 깊이가 증가함에 따라 근사가 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 두 층 신경망의 근사 성질을 특성화하는 데 최적의 함수 공간은 무엇인가?
• RQ2 잔차 신경망의 근사 오차와 추정 오차는 어떻게 잘 정의된 함수 공간을 통해 제어할 수 있는가?
• RQ3 신경망 가설 공간의 라데마처 복잡도는 최적으로 상한을 가질 수 있으며, 이는 최적의 일반화 오차 스케일링으로 이어지는가?
• RQ4 바론 공간과 유동 유도 함수 공간은 고차원 근사에서 고전적 함수 공간인 소볼레프 공간 또는 RKHS와 어떻게 비교되는가?
• RQ5 핵 함수 방법, 두 층 네트워크, 깊은 잔차 네트워크의 근사 이론을 함수 공간 노름을 통해 통합할 수 있는 이론적 프레임워크가 존재하는가?

주요 결과

• 바론 공간은 두 층 신경망에 대해 최적의 함수 공간이며, 직접 및 역방향 근사 정리를 모두 만족하여, 함수가 바론 공간에 속해 있음과 동시에 오차가 $ O(1/m) $ 으로 감소하는 조건이 동치임을 보장한다.
• 잔차 신경망의 경우, 유동 유도 함수 공간은 가중치 경로 노름을 통해 구성되며, 이 공간에 속한 함수들은 오차 $ O(1/m) $ 로 근사 가능하며, 노름이 근사 비율을 제어한다.
• 잔차 신경망의 가설 공간의 라데마처 복잡도는 $ 18Q\sqrt{\frac{2\log(2d)}{n}} $ 이하로 상한이 설정되며, 일반화 오차의 최적의 $ O(1/\sqrt{n}) $ 스케일링을 달성한다.
• 핵 함수 방법, 두 층 네트워크, 잔차 네트워크의 모든 모델에서 일반화 오차는 $ O(1/m) + O(1/\sqrt{n}) $ 으로 스케일링되며, 계수는 각각의 함수 공간에서의 목표 함수의 노름에 의해 결정된다.
• 바론 공간과 유동 유도 공간의 노름은 표준 노름은 아니지만, 근사 과정에서 자연스럽게 유도되는 함수형이며, 근사 오차와 추정 오차를 모두 제어한다.
• 잔차 신경망의 함수 공간은 두 층 네트워크의 것보다 엄격히 더 크며, 동일한 함수에 대해 노름이 더 작아 깊이 있는 학습 모델에서 분산 감소 효과가 있음을 나타낸다.