[논문 리뷰] Machine Learning For Elliptic PDEs: Fast Rate Generalization Bound, Neural Scaling Law and Minimax Optimality

Yiping Lu, Haoxuan Chen외 3명|arXiv (Cornell University)|2021. 10. 13.

Model Reduction and Neural Networks참고 문헌 12인용 수 11

한 줄 요약

이 논문은 타원형 PDE의 딥러닝 솔버, 특히 딥 리츠 방법(Deep Ritz Method, DRM)과 물리 기반 신경망(Pinns)에 대해 빠른 수렴 속도 일반화 경계를 수립한다. PINNs와 수정된 DRM에 대해 최소 최대 최적성(minimax optimality)을 증명하고, 차원에 의존하는 신경망 스케일링 법칙을 유도하며, 표준 DRM이 H¹ 노름에서 샘플링에 기인한 분산으로 인해 수렴 속도가 제한되어 하위 최적임을 보여준다.

ABSTRACT

In this paper, we study the statistical limits of deep learning techniques for solving elliptic partial differential equations (PDEs) from random samples using the Deep Ritz Method (DRM) and Physics-Informed Neural Networks (PINNs). To simplify the problem, we focus on a prototype elliptic PDE: the Schrödinger equation on a hypercube with zero Dirichlet boundary condition, which has wide application in the quantum-mechanical systems. We establish upper and lower bounds for both methods, which improves upon concurrently developed upper bounds for this problem via a fast rate generalization bound. We discover that the current Deep Ritz Methods is sub-optimal and propose a modified version of it. We also prove that PINN and the modified version of DRM can achieve minimax optimal bounds over Sobolev spaces. Empirically, following recent work which has shown that the deep model accuracy will improve with growing training sets according to a power law, we supply computational experiments to show a similar behavior of dimension dependent power law for deep PDE solvers.

연구 동기 및 목표

• 딥러닝 기반 타원형 PDE 솔버, 특히 DRM과 PINNs에 대한 이론적 통계적 한계를 수립하는 것.
• 이전의 느린 수렴 속도 $O(1/ ol)$ 결과보다 향상된 빠른 수렴 속도 $O(1/n)$ 경계를 활용해 DRM과 PINNs의 일반화 오차를 분석하는 것.
• 표준 딥 리츠 방법이 H¹ 노름에서 샘플링에 기인한 분산으로 인해 하위 최적임을 규명하는 것.
• 소벨 공간 위에서 최소 최대 최적 수렴 속도를 달성하는 수정된 DRM을 제안하는 것.
• 딥 PDE 솔버에서 신경망 스케일링 법칙이 존재함을 검증하여, 훈련 데이터 크기와 오차 사이의 거듭제곱 법칙 스케일링을 보여주는 것.

제안 방법

• 손실 함수의 강한 볼록성 구조를 활용해, DRM과 PINNs에 대해 $O(1/n)$ 수준의 빠른 수렴 속도 일반화 경계를 유도하는 것.
• 행렬 베르누이 부등식을 사용해 해의 경험적 및 기대 H¹ 노름 간의 차이를 제한하여, 표준 DRM에서 지배적인 분산 항인 $Z^d/n$ 항을 드러내는 것.
• DRM 목적함수를 푸리에 계수에 대한 이차 최적화 문제로 재구성하여, 표준 추정치와 경험적 해 사이의 비교를 가능하게 하는 것.
• H¹ 노름에서 샘플링에 기인한 편향을 보정함으로써, 향상된 수렴 속도를 달성하는 수정된 DRM을 도입하는 것.
• 판노의 부등식과 바르샤모프-길버트 보조정리를 사용해 최소 최대 하한 경계를 수립하여, PINNs와 수정된 DRM에 대한 상한 경계의 최적성을 증명하는 것.
• 수치 실험을 수행하여 테스트 오차와 훈련 세트 크기 사이에 거듭제곱 법칙 스케일링이 존재함을 검증하며, 다른 딥러닝 작업에서 관찰된 신경망 스케일링 법칙과 일치하는 결과를 도출하는 것.

실험 결과

연구 질문

• RQ1 타원형 PDE를 해결하는 데 있어 DRM과 PINNs에 대해 빠른 수렴 속도 일반화 경계를 수립할 수 있는가?
• RQ2 표준 딥 리츠 방법은 왜 하위 최적이며, 어떤 원인이 더 느린 수렴 속도를 초래하는가?
• RQ3 수정된 DRM이 소벨 공간 위에서 최소 최대 최적 수렴 속도를 달성할 수 있는가?
• RQ4 딥 PDE 솔버는 훈련 데이터 크기와 오차 사이에 거듭제곱 법칙 스케일링을 따르는가?
• RQ5 정보 이론적 하한 경계에 의해 확인된 바와 같이, 제안된 일반화 오차 상한이 타당한가?

주요 결과

• 이 논문은 DRM과 PINNs 모두에 대해 $O(1/n)$ 수준의 빠른 수렴 속도 일반화 경계를 수립하여 이전의 $O(1/ ol)$ 경계를 향상시켰다.
• 표준 DRM이 H¹ 노름에서 샘플링에 기인한 분산 항 $Z^d/n$ 로 인해 하위 최적임이 입증되었으며, 이는 최적 수렴 속도에서의 $Z^{d-2}/n$ 분산 항을 지배한다.
• 이러한 샘플링 편향을 보정하는 수정된 DRM을 제안하여, 최소 최대 최적 수렴 속도인 $n^{-\frac{2s-2}{d+2s-4}}$ 를 달성한다.
• PINNs와 수정된 DRM이 소벨 공간 위에서 최소 최대 최적 수렴 속도를 달성하며, 정보 이론적 하한 경계와 정확히 일치함을 증명하였다.
• 수치 실험을 통해 테스트 오차와 훈련 세트 크기 사이에 거듭제곱 법칙 스케일링이 존재함을 확인하였으며, 지수 $ olpha \propto 1/d$ 가 다른 딥러닝 작업에서 관찰된 신경망 스케일링 법칙과 일치한다.
• 이론적 분석은 DRM의 수렴 속도가 경험적 및 기대 연산자 간의 H¹ 노름 불일치에 의해 제한되며, 이는 표준 근사 오차 분석에서는 반영되지 않는다는 것을 드러냈다.