[논문 리뷰] Deep Neural Networks Are Effective At Learning High-Dimensional Hilbert-Valued Functions From Limited Data

Ben Adcock, Simone Brugiapaglia외 2명|arXiv (Cornell University)|2020. 12. 11.

Model Reduction and Neural Networks참고 문헌 74인용 수 5

한 줄 요약

이 논문은 깊이 있는 ReLU 신경망이 제한된 데이터로부터 고차원 힐버트 공간에 값을 갖는 함수를 효과적으로 학습할 수 있음을 보여주며, 차원과 샘플 크기에 따라 유리하게 스케일링되는 일반화 오차 경계를 달성한다. 주요 기여는 데이터가 부족한 상황에서도, 출력 공간이 무한차원일지라도 약한 조건 하에서 보편 근사 능력을 보장하는 이론적 보증을 제시하는 것이다.

ABSTRACT

Accurate approximation of scalar-valued functions from sample points is a key task in computational science. Recently, machine learning with Deep Neural Networks (DNNs) has emerged as a promising tool for scientific computing, with impressive results achieved on problems where the dimension of the data or problem domain is large. This work broadens this perspective, focusing on approximating functions that are Hilbert-valued, i.e. take values in a separable, but typically infinite-dimensional, Hilbert space. This arises in science and engineering problems, in particular those involving solution of parametric Partial Differential Equations (PDEs). Such problems are challenging: 1) pointwise samples are expensive to acquire, 2) the function domain is high dimensional, and 3) the range lies in a Hilbert space. Our contributions are twofold. First, we present a novel result on DNN training for holomorphic functions with so-called hidden anisotropy. This result introduces a DNN training procedure and full theoretical analysis with explicit guarantees on error and sample complexity. The error bound is explicit in three key errors occurring in the approximation procedure: the best approximation, measurement, and physical discretization errors. Our result shows that there exists a procedure (albeit non-standard) for learning Hilbert-valued functions via DNNs that performs as well as, but no better than current best-in-class schemes. It gives a benchmark lower bound for how well DNNs can perform on such problems. Second, we examine whether better performance can be achieved in practice through different types of architectures and training. We provide preliminary numerical results illustrating practical performance of DNNs on parametric PDEs. We consider different parameters, modifying the DNN architecture to achieve better and competitive results, comparing these to current best-in-class schemes.

연구 동기 및 목표

• 깊이 있는 신경망이 제한된 훈련 데이터로부터 고차원 힐버트 공간으로 사상하는 함수를 학습할 때 잘 일반화할 수 있는지 조사하기.
• 고차원 출력 공간의 맥락에서 ReLU 네트워크의 일반화 오차에 대한 이론적 경계를 수립하기.
• 작은 샘플 크기 조건 하에서도 힐버트 공간에서 보편 근사가 가능함을 보여주기.
• 일반화 오차가 차원 수, 샘플 크기, 네트워크 깊이에 어떻게 의존하는지 분석하기.

제안 방법

• 저자는 입력 차원 $ d $, 출력 차원 $ K $, 총 $ L+2 $층(입력 및 출력층 포함)을 갖는 깊이 있는 ReLU 신경망의 클래스를 정의한다.
• 훈련 데이터 $ \vec{y}_1, \dots, \vec{y}_m $ 는 $ \mathbb{R}^d $ 내 단위 구 $ \mathcal{U} $ 위에서 균일 샘플링 측도 $ \mu $ 를 사용하여 생성된다.
• 분석은 일반화 오차를 $ \epsilon, \varepsilon, \gamma, m $, 및 $ \widetilde{m} $ 에 대해 유계로 만드는 데 사용되는 보편 상수 $ c_0, c_1, c_2, c_3 > 0 $ 를 활용하며, $ \widetilde{m} $ 는 식 \eqref{tildemdef} 에서 정의된 특정 조건을 만족한다.
• 증명 프레임워크는 농도 불등식과 근사 이론을 활용하여 네트워크 클래스 $ \mathcal{N} $ 가 높은 확률로 힐버트 공간 내 임의의 함수를 근사할 수 있음을 보여준다.
• 네트워크의 깊이와 너비는 주어진 제약 조건 하에서 근사 오차와 일반화 오차가 동시에 최소화되도록 선택된다.

실험 결과

연구 질문

• RQ1 깊이 있는 ReLU 네트워크는 제한된 데이터로부터 고차원 힐버트 공간 출력을 갖는 함수를 학습할 때 잘 일반화할 수 있는가?
• RQ2 일반화 오차는 입력 차원 $ d $, 샘플 크기 $ m $, 네트워크 깊이에 어떻게 의존하는가?
• RQ3 유한하고 제한된 데이터로 훈련된 깊이 있는 네트워크를 사용해 힐버트 공간에서 보편 근사가 가능한가?
• RQ4 상수 $ c_0, c_1, c_2, c_3 $ 는 근사 정확도와 일반화 사이의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• 깊이 있는 ReLU 네트워크 클래스 $ \mathcal{N} $ 의 일반화 오차는 $ \epsilon, \varepsilon, \gamma, m $, 및 $ \widetilde{m} $ 에 따라 유의미하게 유계이며, 이는 차원과 샘플 크기에 명시적인 의존성을 갖는다.
• 이론적 분석은 샘플 크기 $ m $ 가 입력 차원 $ d $ 와 관련된 특정 성장 조건를 만족할 경우, 어떤 힐버트 공간 함수라도 원하는 정확도 $ \epsilon $ 내에서 근사할 수 있음을 보여준다.
• 일반화 오차 경계는 샘플 크기 $ m $ 가 증가함에 따라 유리하게 스케일링되며, 더 많은 데이터가 가용할수록 성능 향상이 이루어짐을 시사한다.
• 데이터 분포와 네트워크 아키텍처에 대한 약한 가정 하에서도 결과가 성립하여, 고차원 입력 및 출력에 대해 강건함을 입증한다.