[논문 리뷰] MultiAuto-DeepONet: A Multi-resolution Autoencoder DeepONet for Nonlinear Dimension Reduction, Uncertainty Quantification and Operator Learning of Forward and Inverse Stochastic Problems

Jiahao Zhang, Shiqi Zhang외 1명|arXiv (Cornell University)|2022. 04. 07.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 다중 해상도 컨volution 오토인코더와 DeepONet을 결합한 새로운 딥러닝 프레임워크인 MultiAuto-DeepONet을 제안한다. 이는 전방 및 역행 스토케스틱 미분방정식에 대한 비선형 차원 축소, 불확실성 정량화, 연산자 학습을 효율적으로 가능하게 한다. 입력 특징 추출을 위한 인코더와 공유된 분기 경로를 가진 이중 DeepONet 디코더, L₁ 정규화를 적용한 희소 가중치를 통합함으로써, 파rameter 수를 줄이고도 높은 정확도를 달성하여, 여러 스토케스틱 PDE에서 PCA 기반 DeepONet보다 평균 및 분산 예측 성능이 뛰어나다.

ABSTRACT

A new data-driven method for operator learning of stochastic differential equations(SDE) is proposed in this paper. The central goal is to solve forward and inverse stochastic problems more effectively using limited data. Deep operator network(DeepONet) has been proposed recently for operator learning. Compared to other neural networks to learn functions, it aims at the problem of learning nonlinear operators. However, it can be challenging by using the original model to learn nonlinear operators for high-dimensional stochastic problems. We propose a new multi-resolution autoencoder DeepONet model referred to as MultiAuto-DeepONet to deal with this difficulty with the aid of convolutional autoencoder. The encoder part of the network is designed to reduce the dimensionality as well as discover the hidden features of high-dimensional stochastic inputs. The decoder is designed to have a special structure, i.e. in the form of DeepONet. The first DeepONet in decoder is designed to reconstruct the input function involving randomness while the second one is used to approximate the solution of desired equations. Those two DeepONets has a common branch net and two independent trunk nets. This architecture enables us to deal with multi-resolution inputs naturally. By adding $L_1$ regularization to our network, we found the outputs from the branch net and two trunk nets all have sparse structures. This reduces the number of trainable parameters in the neural network thus making the model more efficient. Finally, we conduct several numerical experiments to illustrate the effectiveness of our proposed MultiAuto-DeepONet model with uncertainty quantification.

연구 동기 및 목표

• 제한된 데이터로 고차원 스토케스틱 연산자 학습 문제를 해결하기 위한 도전 과제를 다루기 위해.
• 표준 DeepONet가 고차원 입력을 처리하는 데 한계를 가진다는 점을 극복하기 위해 비선형 차원 축소를 도입하기 위해.
• 입력 및 해 연산자에 대한 학습 가능한 희소 표현을 통해 스토케스틱 미분방정식에서 효과적인 불확실성 정량화를 가능하게 하기 위해.
• 비선형 특징 추출과 연산자 근사화를 동시에 수행하면서도 파rameter 수를 줄인 통합 아키텍처를 개발하기 위해.

제안 방법

• 모델은 고차원 스토케스틱 함수로부터 은닉 특징을 추출하고 입력 차원을 감소시키기 위해 컨볼루션 오토인코더를 인코더로 사용한다.
• 디코더는 공통된 분기 네트워크를 공유하지만, 재구성 및 해 근사화를 위한 독립적인 트렁크 네트워크를 가진 두 개의 별도 DeepONet으로 구성된다.
• 분기 네트워크는 인코더에서 생성된 잠재 표현을 처리하고, 트렁크 네트워크는 센서 위치와 난수 변수를 입력으로 받아 함수 출력을 예측한다.
• 분기 및 트렁크 네트워크에 L₁ 정규화를 적용하여 희소성을 유도함으로써 모델 복잡도를 감소시키고 일반화 성능을 향상시킨다.
• 오토인코더를 통한 계층적 표현 학습과 유연한 입력 도메인 스케일링을 통해 다중 해상도 입력을 지원한다.
• 예측된 해 값과 진짜 해 값 간의 평균 제곱오차 손실을 사용하여 모델을 훈련시키며, 검증은 미리 보지 않은 샘플 트래잭터리에서 수행된다.

실험 결과

연구 질문

• RQ1 제한된 데이터로 고차원 스토케스틱 미분방정식 내 비선형 연산자를 효과적으로 학습할 수 있는 딥러닝 모델이 존재하는가?
• RQ2 오토인코더를 DeepONet에 통합함으로써 스토케스틱 연산자 학습에서 성능 향상과 일반화 능력 향상에 어떤 기여를 하는가?
• RQ3 L₁ 정규화가 학습된 연산자 표현의 희소성 향상과 파arameter 수 감소에 어느 정도 기여하는가?
• RQ4 MultiAuto-DeepONet는 스토케스틱 PDE에서 PCA 기반 DeepONet에 비해 불확실성 정량화 및 해 정확도 측면에서 어떻게 성능이 뛰어나며?
• RQ5 모델은 KdV 방정식 예시와 같이 공간적 또는 시간적 스케일이 다른 입력에도 일반화 가능한가?

주요 결과

• MultiAuto-DeepONet는 KdV 방정식 전방 문제에서 테스트 평균 제곱오차 약 6.34×10⁻⁵과 평균 상대 l² 오차 0.097%를 달성했다.
• 예측된 평균의 상대 l² 오차는 PCA 기반 DeepONet의 0.166%에서 MultiAuto-DeepONet에서는 0.107%로 감소하였고, 분산 오차는 1.53%에서 0.99%로 감소하였다.
• L₁ 정규화로 인해 분기 및 트렁크 네트워크의 학습 가능한 계수들이 강한 희소성을 보였으며, 이는 훈련 가능한 파arameter 수를 크게 감소시켰다.
• 인코더는 스토케스틱 입력의 은닉 특징을 성공적으로 포착하여 잠재공간에서 새로운 입력 함수 샘플을 정확하게 생성하는 데 기여했다.
• 훈련 및 검증 손실 곡선이 매우 유사하게 수렴하여 낮은 일반화 오차를 보이며 뛰어난 일반화 성능을 입증했다.
• 이중 DeepONet 디코더 아키텍처는 재구성 및 해 근사화 작업을 효과적으로 분리함으로써, 다중 해상도 환경에서의 전체 정확도 향상에 기여했다.