[논문 리뷰] Uniform Approximation by Neural Networks Activated by First and Second Order Ridge Splines

Jason M. Klusowski, Andrew R. Barron|arXiv (Cornell University)|2016. 07. 26.

Model Reduction and Neural Networks참고 문헌 8인용 수 15

한 줄 요약

이 논문은 선형 조합을 통한 다변수 함수 근사에 대해 ReLU 및 제곱 ReLU 레지 함수를 사용할 때 $ L^∞ $ 및 $ L^2 $ 오차 한계를 설정하며, 내부 및 외부 파라미터에 $ \ell^1 $ 및 $ \ell^0 $ 제약 조건을 적용한다. $ L^2 $ 오차는 내부 레이어의 $ \ell^0 $ 희박성에 반비례하고 외부 레이어의 $ \ell^0 $ 희박성에 대해 비선형적으로 감소하며, 이는 조건부 확률적 방법의 변형인 Jones-Barron 방법을 사용하여 도출되며, 스펙트럼 조건 하에서 거의 최적의 근사 성능을 달성한다.

ABSTRACT

We establish $ L^{\infty} $ and $ L^2 $ error bounds for functions of many variables that are approximated by linear combinations of ReLU (rectified linear unit) and squared ReLU ridge functions with $ \ell^1 $ and $ \ell^0 $ controls on their inner and outer parameters. With the squared ReLU ridge function, we show that the $ L^2 $ approximation error is inversely proportional to the inner layer $ \ell^0 $ sparsity and it need only be sublinear in the outer layer $ \ell^0 $ sparsity. Our constructions are obtained using a variant of the Jones-Barron probabilistic method, which can be interpreted as either stratified sampling with proportionate allocation or two-stage cluster sampling. We also provide companion error lower bounds that reveal near optimality of our constructions. Despite the sparsity assumptions, we showcase the richness and flexibility of these ridge combinations by defining a large family of functions, in terms of certain spectral conditions, that are particularly well approximated by them.

연구 동기 및 목표

• ReLU 및 제곱 ReLU 레지 함수를 사용한 신경망의 근사 능력을 분석한다.
• 내부 및 외부 레이어 파라미터에 $ \ell^1 $ 및 $ \ell^0 $ 제약 조건을 두었을 때 $ L^\infty $ 및 $ L^2 $ 오차 한계를 엄밀하게 유도한다.
• 내부 레이어의 $ \ell^0 $ 희박성에 유리하게 의존하고 외부 레이어의 $ \ell^0 $ 희박성에 대해 비선형적으로 의존하는 $ L^2 $ 오차의 특성을 보여준다.
• 보완적 하한값을 통해 제안된 구성의 거의 최적성( near-optimality )을 확립한다.
• 스펙트럼 조건으로 특징지어지는 넓은 범위의 함수 클래스가 이러한 레지 함수 조합에 의해 특히 잘 근사됨을 규명한다.

제안 방법

• 희박성 제어를 갖는 신경망 근사 구축을 위한 프레임워크로 Jones-Barron 확률적 방법을 변형 적용한다.
• 함수 공간의 균일한 커버리지 확보를 위해 구성 과정을 비례 배정 또는 이단계 군집 샘플링으로 해석하는 전략적 샘플링으로 간주한다.
• 기저 함수로 ReLU 및 제곱 ReLU 레지 함수의 선형 조합을 사용하며, 파라미터는 $ \ell^0 $ 및 $ \ell^1 $ 노름 제약 조건을 갖는다.
• 대상 함수의 스펙트럼 조건을 적용하여 효율적인 근사가 가능한 함수 클래스를 특성화한다.
• 확률적 구성 분석를 통해 함수 클래스의 커버링 수를 분석함으로써 $ L^\infty $ 및 $ L^2 $ 노름에서 오차 한계를 도출한다.
• 제안된 구성의 거의 최적성( near-optimality )을 입증하기 위해 근사 오차의 하한값을 확립한다.

실험 결과

연구 질문

• RQ1 내부 및 외부 파라미터에 대한 $ \ell^0 $ 및 $ \ell^1 $ 제약 조건이 ReLU 및 제곱 ReLU 레지 네트워크의 $ L^\infty $ 및 $ L^2 $ 근사 오차에 어떤 영향을 미치는가?
• RQ2 Jones-Barron 방법을 변형하여 희박성 제약 조건이 있는 레지 기반 신경망 근사에 대해 엄밀한 오차 한계를 도출할 수 있는가?
• RQ3 이러한 네트워크에서 $ L^2 $ 오차는 내부 및 외부 레이어의 희박성 수준에 어떻게 의존하는가?
• RQ4 어떤 다변수 함수 클래스가 이러한 레지 함수 조합에 의해 특히 잘 근사되는가?
• RQ5 제안된 구성은 이 함수 클래스에 대한 이론적 근사 오차 한계에 얼마나 가까운가?

주요 결과

• 지정된 스펙트럼 클래스에 속하는 함수의 $ L^2 $ 근사 오차는 내부 레이어 파라미터의 $ \ell^0 $ 희박성에 반비례한다.
• 외부 레이어의 $ \ell^0 $ 희박성에 대한 $ L^2 $ 오차 의존성은 비선형적이며, 외부 레이어의 희박성이 증가함에 따라 수익 감소 효과가 나타난다.
• 제안된 구성은 보완적 하한값을 통해 거의 최적임이 확인되었으며, 하한값과 상한값이 로그 인자 외에는 일치한다.
• 이 방법은 전략적 샘플링 또는 군집 샘플링으로 해석되는 확률적 샘플링 프레임워크를 통해 $ L^\infty $ 및 $ L^2 $ 노름에서 균일한 근사를 가능하게 한다.
• 일부 스펙트럼 조건을 만족하는 넓은 함수 가족이 이러한 레지 함수 조합에 의해 효율적으로 근사됨이 입증되었다.
• 제곱 ReLU 레지 함수의 사용은 동일한 희박성 제약 조건 하에서 특히 $ L^2 $ 근사에서 효율성을 향상시킨다.