[논문 리뷰] Rademacher Complexity and Numerical Quadrature Analysis of Stable Neural Networks with Applications to Numerical PDEs.

Qingguo Hong, Jonathan W. Siegel외 1명|arXiv (Cornell University)|2021. 04. 07.

Model Reduction and Neural Networks참고 문헌 31인용 수 10

한 줄 요약

이 논문은 해의 $Σ_1(\mathbb{D})$-노름에 대한 제약 조건을 도입하여 안정적인 신경망 솔버를 위한 통합 오차 분석을 제시한다. 이는 확률적 경사 하강법 대신 효율적인 게으른 최적화를 가능하게 하며, 라데마처 복잡도를 통해 결정론적 적분과 확률적 샘플링 모두에서 오차가 유계임을 보장한다. 이는 최적화, 근사, 일반화를 통합하는 일관된 프레임워크를 제공한다.

ABSTRACT

Methods for solving PDEs using neural networks have recently become a very important topic. We provide an error analysis for such methods which is based on an a priori constraint on the $\mathcal{K}_1(\mathbb{D})$-norm of the numerical solution. We show that the resulting constrained optimization problem can be efficiently solved using a greedy algorithm, which replaces stochastic gradient descent. Following this, we show that the error arising from discretizing the energy integrals is bounded both in the deterministic case, i.e. when using numerical quadrature, and also in the stochastic case, i.e. when sampling points to approximate the integrals. In the later case, we use a Rademacher complexity analysis, and in the former we use standard numerical quadrature bounds. This extends existing results to methods which use a general dictionary of functions to learn solutions to PDEs and importantly gives a consistent analysis which incorporates the optimization, approximation, and generalization aspects of the problem. In addition, the Rademacher complexity analysis is simplified and generalized, which enables application to a wide range of problems.

연구 동기 및 목표

• 신경망 기반 PDE 솔버에서 최적화, 근사, 일반화를 통합하는 일관된 오차 분석 프레임워크를 개발하는 것.
• 기존 방법에서 이론적 보장을 부족하게 하는 문제를 해결하기 위해 해의 $Σ_1(\mathbb{D})$-노름에 대한 사전 제약 조건을 도입하는 것.
• 제약 최적화 문제를 해결하기 위해 확률적 경사 하강법을 더 효율적인 게으른 알고리즘으로 대체하는 것.
• 결정론적 및 확률적 설정에서 에너지 적분의 이산화에 의한 오차를 유계로 제한하는 것.
• PDE 및 함수 근사 문제에 광범위하게 적용 가능한 보다 일반화되고 단순화된 라데마처 복잡도 분석으로 확장하는 것.

제안 방법

• 해의 $Σ_1(\mathbb{D})$-노름에 대한 사전 제약 조건을 도입하여 신경망 해의 안정성을 보장한다.
• 제약 최적화 문제를 효율적으로 해결하기 위해 확률적 경사 하강법을 게으른 알고리즘으로 대체한다.
• 표준 수치 적분 오차 기법을 적용하여 에너지 적분의 결정론적 이산화 오차를 제어한다.
• 확률적 설정에서 점들이 적분을 근사하기 위해 샘플링되는 경우, 일반화 오차를 유계로 제한하기 위해 라데마처 복잡도 분석을 사용한다.
• 라데마처 복잡도 프레임워크를 더 일반화하고 다양한 PDE 및 함수 근사 문제에 적용 가능하도록 확장한다.
• 최적화, 근사, 일반화 요소를 하나의 일관된 이론적 분석으로 통합한다.

실험 결과

연구 질문

• RQ1 해의 $Σ_1(\mathbb{D})$-노름에 대한 사전 제약 조건은 신경망 PDE 솔버의 안정성과 수렴성에 어떻게 기여하는가?
• RQ2 게으른 알고리즘이 안정적인 신경망 PDE 솔버 학습에서 확률적 경사 하강법을 효과적으로 대체할 수 있는가?
• RQ3 결정론적 수치 적분 기법을 사용할 경우 에너지 적분 이산화의 이론적 오차 한계는 무엇인가?
• RQ4 샘플링된 점들을 사용하는 확률적 PDE 솔버에서 라데마처 복잡도 분석은 일반화 오차를 어떻게 유계로 제한하는가?
• RQ5 라데마처 복잡도 프레임워크는 신경망 기반 PDE 솔버에 적용하기 위해 얼마나 일반화되고 단순화될 수 있는가?

주요 결과

• 해의 $Σ_1(\mathbb{D})$-노름 정규화를 통한 제약 최적화 문제는 확률적 경사 하강법에 의존하지 않고도 게으른 알고리즘을 통해 효율적으로 해결될 수 있다.
• 표준 수치 분석 기법을 활용하여 결정론적 수치 적분에 의한 에너지 적분 오차는 유계로 제한된다.
• 단순화되고 일반화된 라데마처 복잡도 분석을 통해 확률적 샘플링에 의한 에너지 적분 오차는 유계로 제한된다.
• 제안된 프레임워크는 신경망 PDE 솔버에서 최적화, 근사, 일반화를 통합하는 일관된 이론적 분석을 제공한다.
• 일반화된 라데마처 복잡도 분석은 다양한 PDE 및 함수 근사 문제에 광범위하게 적용 가능하게 한다.