[논문 리뷰] Improved Approximation Properties of Dictionaries and Applications to Neural Networks

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|2021. 01. 29.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 6

한 줄 요약

이 논문은 힐버트 공간 내 함수류의 근사율, 메트릭 엔트로피, 겔판드 $n$-폭을 향상시키기 위해 부드럽게 파arameter화된 사전을 도입한다. ReLU$^k$ 활성화 함수를 갖는 신경망과 스펙트럼 바론 공간에 대해 더 날카운 경계를 도출하며, 스펙트럼 바론 공간에 대한 첫 번째 겔판드 $n$-폭 추정치를 제공하고 기존의 근사율을 개선한다.

ABSTRACT

This article addresses the problem of approximating a function in a Hilbert space by an expansion over a dictionary $\mathbb{D}$. We introduce the notion of a smoothly parameterized dictionary and give upper bounds on the approximation rates, metric entropy and $n$-widths of the absolute convex hull, which we denote $B_1(\mathbb{D})$, of such dictionaries. The upper bounds depend upon the order of smoothness of the parameterization, and improve upon existing results in many cases. The main applications of these results is to the dictionaries $\mathbb{D} = \{\sigma(\omega\cdot x + b)\}\subset L^2$ corresponding to shallow neural networks with activation function $\sigma$, and to the dictionary of decaying Fourier modes corresponding to the spectral Barron space. This improves upon existing approximation rates for shallow neural networks when $\sigma = ext{ReLU}^k$ for $k\geq 2$, sharpens bounds on the metric entropy, and provides the first bounds on the Gelfand $n$-widths of the Barron space and spectral Barron space.

연구 동기 및 목표

• 힐버트 공간 내 함수에 대해 사전 전개를 이용한 근사율 향상.
• 부드럽게 파arameter화된 사전의 절대 볼록 hull $B_1(\mathbb{D})$의 메트릭 엔트로피와 겔판드 $n$-폭 분석.
• 얕은 신경망에 대한 ReLU$^k$ 활성화 함수와 스펙트럼 바론 공간에 이러한 결과 적용.
• 스펙트럼 바론 공간에 대한 첫 번째 겔판드 $n$-폭 경계 수립.

제안 방법

• 사전의 부드러움 정도를 결정하는 부드러운 파arameter화된 사전의 개념 도입.
• 사전의 파arameter화의 부드러움에 기반해 $B_1(\mathbb{D})$의 근사율, 메트릭 엔트로피, 겔판드 $n$-폭에 대한 상한 추론.
• 얕은 신경망의 사전 $\mathbb{D} = \{\sigma(\omega \cdot x + b)\}$ 에 프레임워크 적용.
• 감쇠하는 푸리에 모드의 사전을 사용해 스펙트럼 바론 공간 분석.
• 엔트로피와 폭 이론을 포함한 함수 해석학적 도구를 사용해 함수류의 복잡도 정량화.
• 더 높은 파arameter화의 부드러움이 근사 및 복잡도 경계 향상에 기여함을 입증.

실험 결과

연구 질문

• RQ1 사전의 파arameter화의 부드러움 특성이 힐버트 공간 내 근사율에 어떻게 영향을 미치는가?
• RQ2 부드럽게 파arameter화된 사전에 대해 절대 볼록 hull $B_1(\mathbb{D})$의 메트릭 엔트로피와 겔판드 $n$-폭은 무엇인가?
• RQ3 ReLU$^k$ 활성화 함수를 갖는 얕은 신경망에 대해 $k \geq 2$ 일 때 개선된 근사율을 확립할 수 있는가?
• RQ4 스펙트럼 바론 공간의 겔판드 $n$-폭에 대한 첫 번째 알려진 경계는 무엇인가?
• RQ5 새로운 경계는 날카움과 일반성 측면에서 기존 결과와 어떻게 비교되는가?

주요 결과

• 논문은 $k \geq 2$ 인 ReLU$^k$ 활성화 함수를 갖는 얕은 신경망에 대해 이전 결과를 초월하는 개선된 상한 경계를 근사율에 확립한다.
• 스펙트럼 바론 공간에 대한 겔판드 $n$-폭에 대한 첫 번째 알려진 경계를 제공하며, 함수류 복잡도 분석에서 중요한 진전을 이룬다.
• 메트릭 엔트로피 $B_1(\mathbb{D})$는 사전의 파arameter화의 부드러움 정도에 따라 유계이며, 더 날카운 추정치를 도출한다.
• 스펙트럼 바론 공간의 경우, 유도된 메트릭 엔트로피 및 겔판드 $n$-폭 경계는 이전에 알려진 결과보다 더 날카롭다.
• 프레임워크는 더 부드러운 파arameter화가 사전 기반 전개에서 더 나은 근사 및 복잡도 제어를 이끌어냄을 보여준다.
• 결과는 바론 유형 공간 및 신경망 근사 이론을 일반화하고 개선하며, 특히 고차원 설정에서 중요한 진전을 이룬다.