[논문 리뷰] Sampling weights of deep neural networks

Erik Lien Bolager, Iryna Burak외 3명|arXiv (Cornell University)|2023. 06. 29.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 반복 최적화가 필요 없는 딥 뉴럴 네트워크 가중치와 편향에 대한 데이터 기반 샘플링 방법을 제안한다. 학습 데이터를 기반으로 목표 함수의 기울기를 사용해 샘플링함으로써, 보편적 근사, 얕은 네트워크에서 $L^2$-오차 감소율 $ olimits\mathcal{O}(m^{-1/2})$ 달성, 기울기 기반 방법과 유사한 정확도를 갖는 동시에 훨씬 더 빠른 훈련 속도를 확보하며, 입력 스케일링과 강체 변환에 대해 불변성을 확보한다.

ABSTRACT

We introduce a probability distribution, combined with an efficient sampling algorithm, for weights and biases of fully-connected neural networks. In a supervised learning context, no iterative optimization or gradient computations of internal network parameters are needed to obtain a trained network. The sampling is based on the idea of random feature models. However, instead of a data-agnostic distribution, e.g., a normal distribution, we use both the input and the output training data to sample shallow and deep networks. We prove that sampled networks are universal approximators. For Barron functions, we show that the $L^2$-approximation error of sampled shallow networks decreases with the square root of the number of neurons. Our sampling scheme is invariant to rigid body transformations and scaling of the input data, which implies many popular pre-processing techniques are not required. In numerical experiments, we demonstrate that sampled networks achieve accuracy comparable to iteratively trained ones, but can be constructed orders of magnitude faster. Our test cases involve a classification benchmark from OpenML, sampling of neural operators to represent maps in function spaces, and transfer learning using well-known architectures.

연구 동기 및 목표

• 기울기 기반 가중치 학습을 데이터 기반 샘플링 절차로 대체함으로써 딥 뉴럴 네트워크 훈련에서 반복 최적화를 제거하고자 한다.
• 특히 데이터 포인트 간 기울기 정보를 통합함으로써 무작위로 샘플된 네트워크의 근사 정확도를 향상시키고자 한다.
• 입력 스케일링과 강체 변환에 대해 불변성을 확보함으로써 표준 전처리 기법에 대한 의존도를 감소시키고자 한다.
• 이론적으로 보장된 근사 품질을 갖는 얕은 네트워크와 깊은 네트워크를 효율적으로 구축할 수 있도록 하고자 한다.
• 전통적인 훈련 방식에 대한 이론적으로 탄탄하고 해석 가능하며 계산적으로 효율적인 대안을 제공하고자 한다.

제안 방법

• 학습 데이터 쌍 간의 방향에서 유도된 확률 분포에서 가중치와 편향을 샘플링함으로써, 목표 함수의 기울기가 높은 영역에 집중한다.
• 입력-출력 포인트 쌍에 대한 데이터 의존적 샘플링 분포를 사용하여 은닉층 파라미터를 구성함으로써, 기저 함수의 구조와의 일치를 보장한다.
• 이전 레이어의 출력을 입력으로 사용하여 각 레이어의 파라미터를 순차적으로 샘플링함으로써 딥 네트워크를 구성하며, 백프로파게이션을 사용하지 않는다.
• 최종 레이어의 가중치와 편향은 SVD를 사용한 최소 제곱법으로 계산되며, 마지막 은닉층에서 출력으로 매핑하는 선형 시스템을 해결한다.
• 샘플링 과정은 상대적인 데이터 포인트 간 차이에 기반하므로, 입력 데이터의 정규화나 직교 변환에 대해 불변성을 확보한다.
• 이 방법은 SWIM이라는 라이브러리로 구현되었으며, 고정된 아키텍처에서는 $\mathcal{O}(M)$의 런타임 복잡도를 보이며, 여기서 $M$은 학습 세트 크기이다.

실험 결과

연구 질문

• RQ1 반복적이지 않은, 데이터 기반의 네트워크 가중치 샘플링 체계가 기울기 기반 훈련과 유사한 근사 정확도를 달성할 수 있는가?
• RQ2 제안된 샘플링 방법이 깊이 있는 네트워크와 얕은 네트워크 모두에서 보편적 근사를 달성할 수 있는가?
• RQ3 입력 스케일링과 강체 변환에 대해 불변성을 확보할 수 있도록 샘플링 분포를 설계할 수 있는가?
• RQ4 샘플된 얕은 네트워크의 이론적 $L^2$-근사 오차율은 무엇이며, 네트워크의 폭에 따라 어떻게 변화하는가?
• RQ5 특히 깊은 네트워크와 함수 공간 매핑 작업에서, 이 샘플링 방법의 계산 효율성은 기존 훈련 방식과 비교해 어떻게 되는가?

주요 결과

• 샘플된 네트워크는 컴act 도메인 상의 임의의 연속 함수를 근사할 수 있는 보편적 근사자이다.
• Barron 함수의 경우, 샘플된 얕은 네트워크의 $L^2$-근사 오차는 $ olimits\mathcal{O}(m^{-1/2})$ 속도로 감소하며, 이는 한 은닉층 네트워크의 최적 속도와 일치한다.
• OpenML 분류 벤치마크에서 반복적으로 훈련된 네트워크와 유사한 테스트 정확도를 달성하였으며, 훈련 시간은 수 개의 주기 빠르게 나타났다.
• 샘플링 체계는 입력 스케일링과 강체 변환에 대해 불변성을 확보하여, 표준 전처리 기법(예: 정규화)이 불필요해진다.
• 고정된 아키텍처에서는 런타임 복잡도가 $ olimits\mathcal{O}(M)$이며, 일반적인 경우 $ olimits\mathcal{O}(L \cdot M(\lceil N/M\rceil + N^2))$이며, 메모리 복잡도는 $ olimits\mathcal{O}(M \cdot \lceil N/M\rceil + L N^2)$이다.
• 수치 실험을 통해 표준 아키텍처를 사용한 신경 연산자 학습과 전이 학습에서 뛰어난 성능을 보이며 실용성의 타당성을 확인했다.