[논문 리뷰] Approximation Bounds for Random Neural Networks and Reservoir Systems

Lukas Gonon, Lyudmila Grigoryeva외 1명|arXiv (Cornell University)|2020. 02. 14.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 무작위로 생성된 내부 가중치를 가진 에코 스테이트 네트워크(Echo State Networks, ESNs)에 대한 처음으로 엄밀한 근사 경계를 수립하여, 다양한 종류의 동적 시스템을 임의로 잘 근사할 수 있음을 증명한다. 초기화된 가중치에 대한 샘플링 절차를 제안함으로써, 네트워크 크기와 목표 시스템의 정규성에 따라 $L^2$-오차를 정량화하며, 이는 유역 계산의 경험적 성공에 대한 첫 번째 수학적 설명을 제공한다.

ABSTRACT

This work studies approximation based on single-hidden-layer feedforward and recurrent neural networks with randomly generated internal weights. These methods, in which only the last layer of weights and a few hyperparameters are optimized, have been successfully applied in a wide range of static and dynamic learning problems. Despite the popularity of this approach in empirical tasks, important theoretical questions regarding the relation between the unknown function, the weight distribution, and the approximation rate have remained open. In this work it is proved that, as long as the unknown function, functional, or dynamical system is sufficiently regular, it is possible to draw the internal weights of the random (recurrent) neural network from a generic distribution (not depending on the unknown object) and quantify the error in terms of the number of neurons and the hyperparameters. In particular, this proves that echo state networks with randomly generated weights are capable of approximating a wide class of dynamical systems arbitrarily well and thus provides the first mathematical explanation for their empirically observed success at learning dynamical systems.

연구 동기 및 목표

• 유역 계산과 무작위 신경망이 복잡한 동적 시스템을 근사하는 데 있어 경험적 성공에 대한 이론적 근거가 부족한 문제를 다루기 위해.
• 무작위로 생성된 내부 가중치를 가진 에코 스테이트 네트워크(ESNs)의 실용적 성공과 이론적 이해 사이의 격차를 메우기 위해.
• 약한 정규성 조건 하에, 알려지지 않은 입력/출력 시스템을 근사하는 ESN에 대해 명시적이고 점근적이지 않은 오차 경계를 유도하기 위해.
• 무작위 가중치의 구축적 샘플링을 통해 정규성 조건을 초월한 보편성 결과로 근사 결과를 확장하기 위해.
• ESNs에서 출력 피드백의 영향을 분석하고, 동적 시스템 학습에서의 사용에 대한 이론적 근거를 제공하기 위해.

제안 방법

• ESN의 저장소 가중치 A, C, ζ에 대한 구축적 샘플링 절차를 제안하며, 이는 오직 세 가지 초모수에 의존하고 알려지지 않은 목표 시스템과는 독립적이다.
• 숨겨진 상태 동역학을 무작위 비선형 변환로 간주하는 랜덤 특징 기반 접근법을 사용하여 저장소 맵을 근사한다.
• 일반화 오차를 진짜 시스템과 ESN 근사 간의 오차로 제한하기 위해 측도 집중과 라데마처 복잡도 기법을 적용한다.
• 신경망의 수 N, 시스템의 정규성, 저장소 행렬의 스펙트럼 반경 r에 따라 명시적인 $L^2$-오차 경계를 도출한다.
• 안정성 조건(에코 스테이트 성질)을 도입하고, 제안된 샘플링 체계 하에서 거의 확실하게 만족됨을 증명한다.
• 출력 피드백이 있는 ESNs로의 분석을 확장하여, 수정된 학습 동역학 하에서 유사한 근사 보장을 보여준다.

실험 결과

연구 질문

• RQ1 무작위로 생성된 내부 가중치를 가진 에코 스테이트 네트워크가 넓은 범위의 동적 시스템을 임의로 잘 근사할 수 있으며, 만약 가능하다면 어떤 조건에서 가능할까?
• RQ2 무작위 유역 네트워크에서 근사 오차, 뉴런 수, 목표 시스템의 정규성 간의 정량적 관계는 무엇인가?
• RQ3 목표 시스템과 독립적인 일반 분포에서 가중치를 샘플링할 경우, 에코 스테이트 성질이 높은 확률로 보장될 수 있는가?
• RQ4 초모수(예: 스펙트럼 반경, 뉴런 수)가 ESN의 근사 정확도에 어떻게 영향을 미치는가?
• RQ5 근사 프레임워크는 정규성 가정을 초월해 보편 근사로 확장될 수 있는가?

주요 결과

• 논문은 무작위로 생성된 가중치를 가진 에코 스테이트 네트워크가 충분히 정규적인 동적 시스템을 $L^2$-오차가 $O(1/√{N})$로 감소하는 방식으로 근사할 수 있음을 증명한다. 여기서 N은 뉴런 수이다.
• 근사 오차는 뉴런 수, 저장소 행렬의 스펙트럼 반경, 목표 시스템의 정규성에 대해 명시적으로 경계가 정의된다.
• 제안된 샘플링 체계 하에서 에코 스테이트 성질은 거의 확실하게 만족되며, 이는 안정적이고 유일한 상태 궤적을 보장한다.
• 오차 경계는 특정 목표 함수에 의존하지 않고 초모수와 시스템의 정규성에만 의존하므로, ESN의 일반적 설계를 가능하게 한다.
• 이 프레임워크는 보편성 결과로 확장된다: 정규성 가정 없이도, N이 증가함에 따라 임의의 가측 입력/출력 시스템을 임의로 정밀하게 근사할 수 있다.
• 출력 피드백이 있는 ESNs의 경우, 수정된 학습 절차 하에서 동일한 오차 경계가 유지되며, 이는 실용적 응용에서의 사용을 뒷받침한다.