[논문 리뷰] Deep Operator Learning Lessens the Curse of Dimensionality for PDEs

Ke Chen, Chunmei Wang외 1명|arXiv (Cornell University)|2023. 01. 28.

Numerical methods in inverse problems인용 수 7

한 줄 요약

논문은 Banach 공간 사이의 Lipschitz 맵에 대한 깊은 연산자 학습을 위한 선험 일반화 오차 경계를 개발하고 PDE 연산자가 이산화 의존성을 감소시키는 조건을 보이며 차원의 저주를 완화한다.

ABSTRACT

Deep neural networks (DNNs) have achieved remarkable success in numerous domains, and their application to PDE-related problems has been rapidly advancing. This paper provides an estimate for the generalization error of learning Lipschitz operators over Banach spaces using DNNs with applications to various PDE solution operators. The goal is to specify DNN width, depth, and the number of training samples needed to guarantee a certain testing error. Under mild assumptions on data distributions or operator structures, our analysis shows that deep operator learning can have a relaxed dependence on the discretization resolution of PDEs and, hence, lessen the curse of dimensionality in many PDE-related problems including elliptic equations, parabolic equations, and Burgers equations. Our results are also applied to give insights about discretization-invariance in operator learning.

연구 동기 및 목표

• Explain why deep operator learning reduces the curse of dimensionality for PDE operators.
• Provide a priori generalization/error bounds for learning Lipschitz operators between Banach spaces using DNNs.
• Identify operator structures that enable reduced sample complexity and discretization-invariance.
• Apply the theory to elliptic, parabolic, Burgers equations and related PDE operators.

제안 방법

• PDE 연산자 학습 문제를 phi(u; theta) ≈ D_Y^n ◦ Gamma ◦ E_X^n 로 표현하여 유한 차원 대리 Gamma 를 학습하는 문제로 형식화한다.
• 오차를 인코더/디코더 프로젝션 오차, 네트워크 근사, 노이즈 항으로 분해하는 선험 일반화 경계를 도출한다.
• 매개변수가 한정된 두 개의 DNN 아키텍처를 사용하여 샘플 크기에 의존하는 경계를 도출한다: Theorem 1과 Theorem 2.
• Hilbert 공간에서 Banach 공간으로의 확장을 통해 내부 곱 가정을 제거하고, 노이즈 추정에서의 트레이드오프를 제시한다.
• 저차원 매니폴드 구조(가정 5)를 도입하여 차원 독립적인 감소 속도(Theorem 3)를 얻는다.
• 데이터가 서로 다른 해상도에서 올 때 이론이 어떻게 작용하는지에 대한 이산화 불변 신경망과 관련된 논의(프로포지션/섹션).

실험 결과

연구 질문

• RQ1 Banach 공간에서 이산화 및 주변 차원에 따른 DNN 기반 연산자 학습의 일반화 오차가 어떻게 의존하는가?
• RQ2 저차원 또는 저복잡도 구조를 가진 PDE 연산자는 이산화 크기와 무관한 감소된 샘플 복잡도를 달성할 수 있는가?
• RQ3 이산화 불변성이 PDE 연산자의 학습 보장에 어떤 영향을 미치는가?
• RQ4 인코더/디코더 프로젝션과 노이즈가 전체 일반화 경계에서 어떤 역할을 하는가?
• RQ5 Elliptic, parabolic, Burgers 계열 PDE에서의 결과가 어떻게 확장되는가?

주요 결과

• 일반화 오차는 유한 차원 연산자 학습 오차, 인코더/디코더 프로젝션 오차, 그리고 노이즈 항의 합으로 한정된다.
• 적절한 너비/깊이 선택 하에 일반화 오차는 샘플 크기 n에 따라 감소하며, 저차원 또는 저복잡도 설정에서 이산화에 의존하지 않는 속도로 감소할 수 있다.
• Banach 공간으로의 확장은 내부 곱 가정을 제거하고 노이즈 항이 감소하지 않는 경향을 보여 주며, 더 넓은 적용 가능성에 대한 트레이드오프를 강조한다.
• 저차원 매니폴드 구조(가정 5)는 차원 dX가 아니라 고유 차원 d0에 의해 결정되는 감소 속도를 산출하여 차원의 저주(CoD)를 줄인다.
• 저복잡도 연산자(가정 6/7)는 경계가 전체 주변 차원 대신 d0에 의존하도록 하여 샘플 복잡도를 더 촘촘하게 조여준다.
• 이산화 불변 신경망은 언급된 오차 경계를 유지하여 서로 다른 해상도에서의 학습을 가능하게 한다.