[논문 리뷰] On the Banach spaces associated with multi-layer ReLU networks: Function representation, approximation theory and gradient descent dynamics

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|2020. 07. 30.

Model Reduction and Neural Networks참고 문헌 38인용 수 18

한 줄 요약

이 논문은 딥 리elu 네트워크를 위한 새로운 범함수 공간 클래스를 제안하며, 차원에 의존하지 않는 근사율과 낮은 라데마처 복잡도를 보장함으로써 유리한 일반화 성능을 확보한다. 무한히 넓은 다층 네트워크에서 연속적인 기울기 흐름 역학을 수립하여, 경로 노름이 최대 다항식적으로 증가함을 보이며, 딥 러닝 이론에서 함수 표현과 노름 선택의 타당성을 입증한다.

ABSTRACT

We develop Banach spaces for ReLU neural networks of finite depth $L$ and infinite width. The spaces contain all finite fully connected $L$-layer networks and their $L^2$-limiting objects under bounds on the natural path-norm. Under this norm, the unit ball in the space for $L$-layer networks has low Rademacher complexity and thus favorable generalization properties. Functions in these spaces can be approximated by multi-layer neural networks with dimension-independent convergence rates. The key to this work is a new way of representing functions in some form of expectations, motivated by multi-layer neural networks. This representation allows us to define a new class of continuous models for machine learning. We show that the gradient flow defined this way is the natural continuous analog of the gradient descent dynamics for the associated multi-layer neural networks. We show that the path-norm increases at most polynomially under this continuous gradient flow dynamics.

연구 동기 및 목표

• 무한한 너비와 유한한 깊이를 가진 다층 리elu 네트워크를 위한 엄밀한 함수 공간 프레임워크를 개발하는 것.
• 새로운 함수 표현을 통해 이산적 딥 네트워크 학습과 연속적인 기울기 흐름 역학 간의 연결을 수립하는 것.
• 제안된 범함수 공간이 낮은 라데마처 복잡도를 제공함으로써 유리한 일반화 성질을 암시함을 보이는 것.
• 연속적인 기울기 흐름 하에서 경로 노름이 최대 다항식적으로 증가함을 증명하여 안정적인 학습 역학을 보장하는 것.
• 나무 구조를 가진 색인 체계와 기대값 기반 함수 표현을 사용하여 두 층 네트워크에서의 근사 이론을 딥 네트워크로 확장하는 것.

제안 방법

• 가중치 색인을 나무 구조로 재구성하여 '뉴럴 트리' 공간을 도입함으로써, 딥 네트워크 함수 근사의 선형화된 시각을 가능하게 한다.
• 가중치 경로의 기대값을 기반으로 한 새로운 경로 노름을 정의하며, 재매개변수화에 대해 불변이며 일반화를 제어한다.
• 나무 구조를 가진 가중치 분포 위에서의 기대값 조합으로서의 함수 인덱스 표현을 개발하여 연속적 모델링을 가능하게 한다.
• 딥 네트워크의 이산적 기울기 하강법에서 유도된 뉴럴 트리 공간의 부분공간에서 연속적인 기울기 흐름 역학을 구성한다.
• 측도 이론적 도구를 사용하여 함수 공간을 엄밀히 정의하고 기울기 흐름의 존재성과 유일성을 증명한다.
• 직접 및 역방향 근사 정리를 적용하여, 이 공간에 속한 함수들이 입력 차원 $d$에 의존하지 않는 수렴 속도로 근사 가능함을 보인다.

실험 결과

연구 질문

• RQ1 어떤 범함수 공간 구조가 딥 리elu 네트워크에서 낮은 라데마처 복잡도와 차원에 의존하지 않는 근사성을 지원하는가?
• RQ2 딥 네트워크의 함수들은 어떤 방식으로 표현되어야 연속 최적화와 일반화 분석이 가능해지는가?
• RQ3 깊고 무한히 넓은 네트워크에서 연속적인 기울기 흐름 역학 하에서 경로 노름의 행동은 어떠한가?
• RQ4 이산적 기울기 하강법이 잘 정의된 함수 공간에서 연속적인 기울기 흐름의 이산화로 복원될 수 있는가?
• RQ5 제안된 함수 공간은 기존의 바론 공간과 어떻게 관련되어 있으며, 딥 러닝 이론에서 어떤 이점이 있는가?

주요 결과

• L-층 리elu 네트워크를 위한 제안된 범함수 공간은 낮은 라데마처 복잡도를 가지며, 경로 노름 제약 하에서 유리한 일반화 성능을 보장한다.
• 이 공간에 속한 함수들은 입력 차원 $d$에 의존하지 않는 수렴 속도로 다층 신경망에 의해 근사 가능하다.
• 연속적인 기울기 흐름 역학은 잘 정의되고 안정적이며, 경로 노름이 시간에 대해 최대 다항식적으로 증가한다.
• 유한 깊이, 무한 너비 리elu 네트워크의 기울기 하강 동역학은 제안된 연속 기울기 흐름의 이산화로 복원될 수 있다.
• 뉴럴 트리 공간은 딥 네트워크에 자연스러운 함수 공간을 제공하며, 직접 및 역방향 근사 정리를 모두 만족한다.
• 연속 학습 동안 경로 노름은 유한하게 유지되며, 이는 모델의 안정성과 학습 가능성에 기여한다.