[논문 리뷰] Approximation spaces of deep neural networks

Rémi Gribonval, Gitta Kutyniok외 2명|VBN Forskningsportal (Aalborg Universitet)|2019. 05. 03.

Model Reduction and Neural Networks참고 문헌 63인용 수 31

한 줄 요약

이 논문은 깊이 있는 신경망에 대한 근사 공간을 도입하여 복잡도가 증가하는 네트워크로 효율적으로 근사할 수 있는 함수의 집합을 체계화한다. 이러한 공간이 적절한 노름 하에 잘 정의된 (준)바나흐 공간임을 입증하고, 스킵 연결이 결과로 도출되는 공간에 영향을 주지 않음을 보이며, ReLU 기반 네트워크가 고전적인 베소프 공간과 연결됨을 보여준다. 이는 심지어 낮은 베소프 스무쓰니스를 가진 함수들도 네트워크가 충분히 깊을 경우 잘 근사될 수 있음을 시사한다.

ABSTRACT

We study the expressivity of deep neural networks. Measuring a network's complexity by its number of connections or by its number of neurons, we consider the class of functions for which the error of best approximation with networks of a given complexity decays at a certain rate when increasing the complexity budget. Using results from classical approximation theory, we show that this class can be endowed with a (quasi)-norm that makes it a linear function space, called approximation space. We establish that allowing the networks to have certain types of "skip connections" does not change the resulting approximation spaces. We also discuss the role of the network's nonlinearity (also known as activation function) on the resulting spaces, as well as the role of depth. For the popular ReLU nonlinearity and its powers, we relate the newly constructed spaces to classical Besov spaces. The established embeddings highlight that some functions of very low Besov smoothness can nevertheless be well approximated by neural networks, if these networks are sufficiently deep.

연구 동기 및 목표

• 최적 근사 오차 감쇠 속도에 기반한 근사 공간을 정의하여 깊이 있는 신경망의 표현력을 체계화한다.
• 적절한 노름 하에 이러한 근사 공간이 잘 정의된 (준)바나흐 함수 공간이 됨을 입증한다.
• 스킵 연결이 도출되는 근사 공간의 구조에 영향을 미치는지 조사한다.
• 특히 ReLU 및 그 거듭제곱과 같은 활성화 함수가 도출되는 근사 공간에 미치는 영향을 분석한다.
• 네트워크 깊이가 낮은 스무쓰니스를 가진 함수(예: 저순위 베소프 공간에 속하는 함수)의 근사 가능성을 어떻게 향상시키는지 명확히 한다.

제안 방법

• 네트워크 복잡도(연결 수 또는 뉴런 수로 측정)가 증가함에 따라 최적 근사 오차가 주어진 비율로 감소하는 함수의 집합으로서 근사 공간을 정의한다.
• 고전적 근사 이론을 활용하여 근사 공간에 (준)노름을 도입함으로써 완비성과 선형 구조를 확보한다.
• 근사 이론의 직접 및 역추정을 적용하여 공간을 특성화하고 통합 결과를 증명한다.
• 노름 등가성 논증을 사용하여 스킵 연결의 영향을 분석함으로써, 결과로 도출되는 근사 공간이 변하지 않음을 보인다.
• 웨이블릿 특성화와 조각다항식 근사 기법을 통해 ReLU 네트워크의 근사 공간을 고전적 베소프 공간과 연결한다.
• 스케일링 추론과 국소화 기법(예: 버블 함수 및 이진 분해)을 사용하여 특정 경우에 엄밀한 포함 관계가 성립함을 보여주는 반례를 구성한다.

실험 결과

연구 질문

• RQ1 증가하는 복잡도를 가진 깊이 있는 신경망에 의해 잘 근사되는 함수의 집합은 자연스러운 (준)노름 함수 공간의 구조를 지닐 수 있는가?
• RQ2 스킵 연결은 깊이 있는 신경망의 결과로 도출되는 근사 공간에 어떤 영향을 미치는가?
• RQ3 ReLU 기반 네트워크의 근사 공간과 고전적 함수 공간(예: 베소프 공간) 사이의 관계는 무엇인가?
• RQ4 네트워크 깊이가 얼마나 깊이 있는가에 따라 낮은 스무쓰니스를 가진 함수의 근사가 가능해지는가? 이는 베소프 노름으로 정량화될 수 있는가?
• RQ5 활성화 함수의 선택(예: ReLU 대비 기타 비선형성)이 근사 공간을 본질적으로 변화시키는가?

주요 결과

• 최적 근사 오차 감쇠 속도가 주어진 비율을 가지는 함수의 집합은 적절한 (준)노름 하에 잘 정의된 (준)바나흐 공간이 된다.
• 스킵 연결은 결과로 도출되는 근사 공간을 변화시키지 않으며, 이는 공간이 이러한 아키텍처적 수정에 대해 불변임을 의미한다.
• ReLU 및 그 거듭제곱에 대해 근사 공간은 고전적 베소프 공간에 포함되며, 스무쓰니스 지수 값이 낮을 경우 포함 관계가 엄밀하다.
• 매우 낮은 베소프 스무쓰니스를 가진 함수(예: $ s < d/p $)도 깊이가 충분히 깊은 ReLU 네트워크를 통해 잘 근사될 수 있다.
• ReLU 활성화를 가진 깊이 있는 네트워크의 근사 공간은 얕은 네트워크의 근사 공간보다 엄밀히 크며, 이는 깊이의 우월성을 강조한다.
• 일부 함수(예: 국소화된 진동 함수)의 근사 오차는 네트워크 복잡도에 따라 다항식적으로 감소하며, 이 감쇠 속도는 베소프 공간 포함 관계에 의해 정확히 특성화된다.