[논문 리뷰] Enhanced DeepONet for Modeling Partial Differential Operators Considering Multiple Input Functions

Lesley Tan, Liang Chen|arXiv (Cornell University)|2022. 02. 17.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 부분 미분 연산자에 다중 입력 함수를 모델링할 수 있도록 기존 DeepONet을 확장한 새로운 딥러닝 아키텍처인 Enhanced DeepONet(EDeepONet)을 제안한다. 각 입력 함수에 대해 별도의 브랜치 네트워크를 사용하고, 이를 내적 연산을 통해 출력 트렁크 네트워크에 연결함으로써 다중 입력 PDE 연산자 모델링을 가능하게 한다. 두 가지 PDE 예제에서 기존의 완전히 연결된 네트워크보다 7X–17X 높은 정확도, 기존의 확장된 DeepONet보다 2X–3X 높은 정확도를 달성하여 우수한 일반화 능력과 더 빠른 수렴 속도를 입증한다.

ABSTRACT

Machine learning, especially deep learning is gaining much attention due to the breakthrough performance in various cognitive applications. Recently, neural networks (NN) have been intensively explored to model partial differential equations as NN can be viewed as universal approximators for nonlinear functions. A deep network operator (DeepONet) architecture was proposed to model the general non-linear continuous operators for partial differential equations (PDE) due to its better generalization capabilities than existing mainstream deep neural network architectures. However, existing DeepONet can only accept one input function, which limits its application. In this work, we explore the DeepONet architecture to extend it to accept two or more input functions. We propose new Enhanced DeepONet or EDeepONet high-level neural network structure, in which two input functions are represented by two branch DNN sub-networks, which are then connected with output truck network via inner product to generate the output of the whole neural network. The proposed EDeepONet structure can be easily extended to deal with multiple input functions. Our numerical results on modeling two partial differential equation examples shows that the proposed enhanced DeepONet is about 7X-17X or about one order of magnitude more accurate than the fully connected neural network and is about 2X-3X more accurate than a simple extended DeepONet for both training and test.

연구 동기 및 목표

• 기존 DeepONet가 단일 입력 함수만 지원하는 한계를 해결하여, 초기 조건 및 경계 조건과 같은 다중 입력이 필요한 복잡한 PDE를 모델링할 수 있도록 한다.
• 비선형 PDE 연산자 근사에 두 개 이상의 입력 함수를 처리할 수 있는 확장 가능한 딥러닝 아키텍처를 개발한다.
• 완전히 연결된 신경망과 단순한 DeepONet 확장 버전에 비해 일반화 능력과 정확도를 향상시켜 PDE 연산자 학습을 개선한다.
• 확산 및 이동-확산 과정을 포함한 벤치마크 PDE 문제에 대해 제안된 아키텍처를 검증한다.

제안 방법

• 각 입력 함수를 독립적으로 인코딩할 수 있도록 두 개의 별도 브랜치 DNN을 갖는 새로운 EDeepONet 아키텍처를 제안하여 다중 입력 PDE 연산자 모델링을 가능하게 한다.
• 두 브랜치 네트워크의 출력을 내적 연산을 통해 출력 트렁크 네트워크에 연결하여 PDE 연산자의 최종 해를 생성한다.
• 추가적인 브랜치 네트워크와 해당 내적 연결을 추가함으로써 두 개 이상의 입력 함수를 처리할 수 있도록 아키텍처를 확장 가능하게 설계한다.
• 구조적 효율성과 성능 간의 상충 관계를 탐색하기 위해 평탄한 아키텍처와 계층적 아키텍처의 두 가지 변형을 구현한다.
• 입력 함수 공간에서 해 함수 공간으로의 복잡한 비선형 사상 학습을 보장하기 위해 일반적인 근사 프레임워크를 사용한다.
• 산산이 흩어진 데이터 포인트에서 손실 최소화를 통해 네트워크를 훈련시키며, DeepONet 기반 아키텍처의 빠른 수렴 특성을 활용한다.

실험 결과

연구 질문

• RQ1 기존 DeepONet를 수정한 아키텍처가 초기 조건 및 경계 조건과 같은 두 개 이상의 입력 함수를 갖는 PDE 연산자를 효과적으로 모델링할 수 있는가?
• RQ2 정확도와 수렴 속도 측면에서 제안된 EDeepONet는 완전히 연결된 신경망과 단순한 확장된 DeepONet에 비해 어떻게 성능을 발휘하는가?
• RQ3 브랜치 네트워크 간의 내적 연결이 PDE 연산자 학습에서 일반화 능력과 해의 정밀도 향상에 얼마나 기여하는가?
• RQ4 EDeepONet 아키텍처는 복잡한 PDE 시스템에서 세 개 이상의 입력 함수를 효과적으로 처리할 수 있도록 확장 가능한가?

주요 결과

• 확산 방정식 예제에서 EDeepONet는 훈련 세트와 테스트 세트 양측에서 완전히 연결된 신경망(FNN)보다 7X~17X 높은 정확도를 달성한다.
• 이동-확산 방정식의 경우, EDeepONet는 FNN 대비 테스트 오차를 17.43X 감소시키고 기존의 기반 확장 DeepONet 대비 2.24X 감소시킨다.
• EDeepONet는 FNN보다 더 빠른 수렴 속도를 보이며, 제한된 데이터로도 효과적인 훈련이 가능하여 DeepONet의 장점을 그대로 유지한다.
• EDeepONet의 예측 해는 진짜 값과 매우 유사하며, 두 예제 모두에서 FNN 및 DeepONet에 비해 상당히 작은 절대 오차를 기록한다.
• EDeepONet의 계층적 아키텍처와 평탄한 아키텍처 모두 유사한 성능을 보이며, 아키텍처 설계 선택에 대해 뛰어난 내재성을 갖는다.
• 이 방법은 다중 입력 함수로의 확장이 가능하여, PDE로 제어되는 복잡한 다중 입력 물리 시스템을 모델링할 잠재력이 매우 높다.