[논문 리뷰] Convergence rate of DeepONets for learning operators arising from advection-diffusion equations

Beichuan Deng, Yeonjong Shin외 3명|arXiv (Cornell University)|2021. 02. 21.

Model Reduction and Neural Networks참고 문헌 37인용 수 13

한 줄 요약

이 논문은 선형 및 비선형 이동-확산 방정식으로부터 해 연산자 학습 시 DeepONets의 수렴 속도를 확립하며, 수렴 속도가 지 branching 네트워크 아키텍처와 입력/출력의 매끄러움에 따라 달라짐을 보여준다. 문제 특유의 구조, 예를 들어 유리 근사와 유한 차분 스킴을 활용하여 차원의 극복 문제 없이 최적의 수렴 속도를 증명한다.

ABSTRACT

We present convergence analysis of operator learning in [Chen and Chen 1995] and [Lu et al. 2020], where continuous operators are approximated by a sum of products of branch and trunk networks. In this work, we consider the rates of learning solution operators from both linear and nonlinear advection-diffusion equations with or without reaction. We find that the convergence rates depend on the architecture of branch networks as well as the smoothness of inputs and outputs of solution operators.

연구 동기 및 목표

• 이동-확산 방정식(반응 유무 상관없이)으로부터 해 연산자를 학습할 때 DeepONets의 수렴 속도를 분석하는 것.
• 지 branching 및 trunk 네트워크 아키텍처, 그리고 입력 및 출력의 매끄러움이 수렴 속도에 미치는 영향을 조사하는 것.
• 해 연산자의 고차원 함수 근사에서의 차원의 극복 문제를 해결하기 위해 해 연산자의 구조적 특성을 활용하는 것.
• 유한 차분 스킴과 반복 해법을 활용하여 선형 이동-확산-반응 방정식에 적합한 특수화된 branch 네트워크 아키텍처를 설계하는 것.
• 학습 또는 최적화 오차에 영향을 받지 않는 이론적 근사 이론 기반의 수렴 경계를 확립하는 것.

제안 방법

• 입력 함수를 인코딩하는 데 사용되는 branch 네트워크와 공간 좌표를 인코딩하는 trunk 네트워크로 구성된 DeepONet 아키텍처를 사용하며, 기저 함수를 통해 그들의 곱을 합산한다.
• 해 연산자를 이산화하기 위해 유한 차분 스킴을 적용하여 반복 해법을 통해 수치적 해를 명시적으로 표현한다.
• 해 연산자를 버거스 방정식과 선형 이동-확산 방정식으로부터 근사하기 위해 유리 함수와 ReLU 네트워크를 활용하여 고차원 함수 근사 문제를 피한다.
• 유한 차분 스킴의 절단 오차와 계층별 네트워크 근사 오차를 분석하여 오차 경계를 유도한다.
• 소볼레프 임bedding과 보간 오차 추정을 활용하여 진짜 해와 보간된 해 사이의 차이를 경계한다.
• 유한 차분 스킴의 근사 오차, 보간 오차, 신경망 근사 오차를 통합하여 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 선형 및 비선형 이동-확산 방정식으로부터 해 연산자를 학습할 때 DeepONets의 수렴 속도는 무엇인가?
• RQ2 해 연산자 근사에서 차원의 극복 문제를 피할 수 있는가, 그리고 어떤 구조적 가정 하에 가능한가?
• RQ3 입력 및 출력 함수의 매끄러움이 DeepONets의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 특수화된 branch 네트워크 아키텍처가 이동-확산-반응 방정식에 대해 최적의 수렴 속도를 달성할 수 있는가?
• RQ5 네트워크 깊이, 너비, 이산화 파라미터에 관해 DeepONet의 해 연산자 근사에 대한 이론적 오차 경계는 무엇인가?

주요 결과

• 선형 이동-확산 방정식으로부터 해 연산자를 학습할 때 DeepONets의 수렴 속도는 $ \tilde{\rho} \to 0 $ 로 수렴하며, $ m \to \bigcirc $ 일 때 $ \tilde{\rho} \to \rho \times m^{-1} $ 의 속도로 수렴한다. 여기서 $ m $ 은 이산화 점의 수이다.
• 선형 이동-확산 방정식의 해 연산자에 대해 수렴 속도는 $ \tilde{\rho} \to 0 $ 로 수렴하며, trunk 네트워크의 오차는 0이다.
• 비선형 이동-확산 방정식의 해 연산자에 대해 수렴 속도는 $ \tilde{\rho} \to 0 $ 로 수렴하며, trunk 네트워크의 오차는 0이다.
• 이동-확산-반응 방정식의 해 연산자에 대해 수렴 속도는 $ \tilde{\rho} \to 0 $ 로 수렴하며, trunk 네트워크의 오차는 0이다.
• 네트워크 근사 오차는 $ \tilde{\rho} \to 0 $ 로 수렴하며, trunk 네트워크의 오차는 0이다.
• 전반적인 오차 경계는 $ \tilde{\rho} \to 0 $ 로 수렴하며, trunk 네트워크의 오차는 0이다.