[논문 리뷰] How Powerful are Shallow Neural Networks with Bandlimited Random Weights?

Ming Li, Sho Sonoda외 3명|arXiv (Cornell University)|2020. 08. 19.

Machine Learning and ELM참고 문헌 60인용 수 8

한 줄 요약

이 논문은 밴드리미티드 랜덤 가중치를 가진 얕은 신경망의 표현 능력을 조사하며, 은닉 파라미터가 유계 도메인에 제한될 경우 이러한 네트워크가 영 approximation 오차를 달성하지 못할 수 있음을 보여준다. 라지릿 분석을 통해 비트리비얼한 하한을 도출함으로써, 모든 랜덤 가중치 분포가 유니버설 근사화를 가능하게 하지는 않으며, 오직 복잡도에 따라 달라지는 특정 분포만이 효과가 있음을 증명한다.

ABSTRACT

We investigate the expressive power of depth-2 bandlimited random neural networks. A random net is a neural network where the hidden layer parameters are frozen with random assignment, and only the output layer parameters are trained by loss minimization. Using random weights for a hidden layer is an effective method to avoid non-convex optimization in standard gradient descent learning. It has also been adopted in recent deep learning theories. Despite the well-known fact that a neural network is a universal approximator, in this study, we mathematically show that when hidden parameters are distributed in a bounded domain, the network may not achieve zero approximation error. In particular, we derive a new nontrivial approximation error lower bound. The proof utilizes the technique of ridgelet analysis, a harmonic analysis method designed for neural networks. This method is inspired by fundamental principles in classical signal processing, specifically the idea that signals with limited bandwidth may not always be able to perfectly recreate the original signal. We corroborate our theoretical results with various simulation studies, and generally, two main take-home messages are offered: (i) Not any distribution for selecting random weights is feasible to build a universal approximator; (ii) A suitable assignment of random weights exists but to some degree is associated with the complexity of the target function.

연구 동기 및 목표

• 은닉층 파라미터가 무작위로 초기화되고 고정된 경우 얕은 신경망의 표현 능력을 조사하기 위해.
• 은닉 파라미터가 유계 조건에 제약을 받는 조건에서 이러한 랜덤 가중치 네트워크가 임의의 함수를 유니버설하게 근사할 수 있는지 여부를 규명하기 위해.
• 비볼록 최적화를 피하는 조건에서도 랜덤 가중치 네트워크가 영 근사 오차를 달성할 수 있는 조건을 규명하기 위해.
• 신경망에 특화된 조화 분석 기법을 활용하여 근사 오차의 이론적 하한을 설정하기 위해.
• 인공 및 실세계 데이터셋을 대상으로 시뮬레이션을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 무작위로 선택된 $ (a_j, b_j) $ 가 유계 분포 $ Q $ 에서 추출되는 조건에서 얕은 신경망을 $ g_d(x) = \sum_{j=1}^d c_j \sigma(a_j \cdot x - b_j) $ 로 수식화한다. 여기서 $ V = \{ |a| \leq \lambda, |b| \leq \lambda \} $ 이다.
• 신경망에 특화된 푸리에 유사 조화 분석 기법인 라지릿 분석을 적용하여 밴드리미티드 랜덤 네트워크의 근사 성질을 연구한다.
• 근사 오차의 $ L^2 $-노름 하한을 유도한다: $ \|f - g_d\|_{L^2(K)}^2 \geq \|S^* [f]\|_{L^2(V^c)}^2 $, 여기서 $ V^c $ 는 파라미터 도메인의 여집합이다.
• 대상 함수 $ f $ 의 소볼레프 노름과 $ L^1 $-노름, 활성화 함수의 성질을 활용하여 오차 하한을 $ \lambda $, $ m $, 및 $ s $ 에 따라 정량화한다.
• 커널 기반 랜덤 특징 맵을 일반적인 랜덤 훈련 방법의 특수한 경우로 간주하여 기존의 랜덤 특징 이론과 연결한다.
• 1D/2D 인공 함수 및 다섯 개인 실세계 회귀 데이터셋에서 시뮬레이션을 통해 이론적 결과를 검증한다. 이 경우 $ \lambda $ 는 다양하게 설정하고 $ L = 10,000 $ 은 고정한다.

실험 결과

연구 질문

• RQ1 밴드리미티드 랜덤 가중치를 가진 얕은 신경망은 어떤 $ L^2 $-소볼레프 함수도 유니버설하게 근사할 수 있는가?
• RQ2 은닉 파라미터가 유계 도메인에 제약을 받을 경우 도달 가능한 최소 근사 오차는 얼마인가?
• RQ3 랜덤 가중치 분포의 선택이 복잡한 대상 함수를 근사하는 능력에 어떻게 영향을 주는가?
• RQ4 근사 오차가 급격히 감소하는 임계 임계값 $ \lambda^* $ 가 존재하는가? 이는 함수의 복잡도와 어떻게 관련되어 있는가?
• RQ5 다양한 합성 및 실세계 회귀 과제에서 이론적 하한이 경험적으로 검증될 수 있는가?

주요 결과

• 은닉 파라미터가 $ |a| \leq \lambda, |b| \leq \lambda $ 와 같은 유계 도메인에 제약을 받는 한, 무한한 은닉 유닛을 가진 경우에도 영 근사 오차를 달성하지 못할 수 있다.
• 근사 오차는 $ \|S^* [f]\|_{L^2(V^c)}^2 $ 에 의해 하한이 정해지며, 이는 대상 함수의 소볼레프 노름과 활성화 함수의 $ L^\infty $-노름에 의존한다.
• $ \lambda \in (0, \vartheta) $ 인 경우 오차 하한은 $ \|f\|_{L^1(K)}^2 \|\sigma\|_{L^\infty}^2 \lambda^m $ 와 같이 스케일되며, 이는 작은 $ \lambda $ 에서의 열악한 근사 성능을 시사한다.
• $ \lambda \geq \vartheta $ 인 경우 오차는 $ \|f\|_{H^s(\Omega)}^2 C_{\sigma,s}^2 \lambda^{-2s} $ 와 같이 감소하여 더 큰 $ \lambda $ 에서의 근사 성능 향상을 보여준다.
• 1D 및 2D 인공 함수에 대한 시뮬레이션 결과, $ \lambda \leq 1 $ 인 경우 근사 오차가 평탄해지지만 $ \lambda \geq 5 $ 인 경우 급격히 감소함을 확인하여 이론적 임계값을 뒷받침한다.
• 다섯 개인 실세계 회귀 데이터셋에서, $ \lambda \geq 10 $ 인 경우 훈련 오차가 $ \sim 10^{-14} $ 로 감소하지만 $ \lambda = 0.1 $ 인 경우 오차는 여전히 높게 유지되며 약 ~0.065 수준을 기록함으로써, 모든 랜덤 가중치 분포가 효과적인 것은 아님을 이론에 부합하게 검증한다.