[논문 리뷰] Learning in latent spaces improves the predictive accuracy of deep neural operators

Katiana Kontolati, Somdatta Goswami외 2명|arXiv (Cornell University)|2023. 04. 15.

Model Reduction and Neural Networks인용 수 13

한 줄 요약

본 논문은 자동인코더로 학습된 잠재 표현에서 신경 연산자를 학습시켜, vanilla DeepONet과 FNO에 비해 고차원 시간 의존 PDE의 정확도 향상 및 학습 비용 감소를 목표로 하는 L-DeepONet을 제안한다.

ABSTRACT

Operator regression provides a powerful means of constructing discretization-invariant emulators for partial-differential equations (PDEs) describing physical systems. Neural operators specifically employ deep neural networks to approximate mappings between infinite-dimensional Banach spaces. As data-driven models, neural operators require the generation of labeled observations, which in cases of complex high-fidelity models result in high-dimensional datasets containing redundant and noisy features, which can hinder gradient-based optimization. Mapping these high-dimensional datasets to a low-dimensional latent space of salient features can make it easier to work with the data and also enhance learning. In this work, we investigate the latent deep operator network (L-DeepONet), an extension of standard DeepONet, which leverages latent representations of high-dimensional PDE input and output functions identified with suitable autoencoders. We illustrate that L-DeepONet outperforms the standard approach in terms of both accuracy and computational efficiency across diverse time-dependent PDEs, e.g., modeling the growth of fracture in brittle materials, convective fluid flows, and large-scale atmospheric flows exhibiting multiscale dynamical features.

연구 동기 및 목표

• 고차원 PDE 데이터를 다룰 때 신경 연산자의 예측 정확도와 효율성 향상을 동기로 삼는다.
• 자동인코더를 활용하여 중요한 특징을 식별하는 DeepONet의 잠재 공간 확장(L-DeepONet)을 개발한다.
• 파손 성장, 대류, 대기 흐름 등 다양한 시간 의존 PDE에 걸친 정확도 및 계산 이점을 보여준다.
• L-DeepONet과 표준 DeepONet 및 Fourier Neural Operator(FNO) 변형을 비교한다.
• 잠재 공간 연산자 학습의 한계와 실용적 고려 사항을 강조한다.

제안 방법

• 두 단계 프레임워크: 고차원 입력/출력 PDE 데이터의 잠재 표현을 얻기 위해 자동인코더를 학습시키고, 그 잠재 공간의 출력에 대해 DeepONet을 학습한다.
• 데이터를 잠재 공간으로 매핑하기 위한 사전 학습된 인코더 J_encoder와 예측을 원래 공간으로 되돌려 평가하기 위한 디코더 J_decoder를 사용한다.
• 감쇠된 공간에서 x^r를 y^r로 매핑하는 잠재 연산자 G_theta를 형식화하고, 재구성 정확도와 연산자 예측 오차에 의해 학습을 안내한다.
• 작은 잠재 차원(d <= 100)으로도 우수한 성능을 달성할 수 있음을 보여준다.
• 다수의 PDE 응용에서 vanilla DeepONet과 FNO(FNO-2D 및 FNO-3D 포함)에 대한 실용적 비교를 제공한다.

실험 결과

연구 질문

• RQ1 잠재 표현에서 신경 연산자를 학습하는 것이 전체 차원 학습보다 예측 정확도를 높이는가?
• RQ2 L-DeepONet의 잠재 차원이 정확도와 학습 비용에 미치는 영향은 무엇인가?
• RQ3 깨지기 쉬운 파손, 레이얼-벤하드 대류, 얕은 물 방정식에서 L-DeepONet은 DeepONet 및 FNO와 어떻게 비교되는가?
• RQ4 잠재 공간 연산자 학습의 실용적 한계는 무엇이며 언제 성능이 떨어질 수 있는가?
• RQ5 대기 흐름과 같은 고차원 복잡 PDE에 잠재 공간 접근법이 확장 가능한가?

주요 결과

적용 분야	L-DeepONet	전체 DeepONet	FNO-3D
Brittle material fracture	1,660	15,031	128,000
Rayleigh-Bénard fluid flow	2,853	6,772	1,126,400
Shallow water equation	15,218	379,022	–

• 테스트된 모든 PDE에서 정확도와 학습 효율성 측면에서 L-DeepONet이 표준 DeepONet보다 우수하다.
• 작은 잠재 차원(d=25 등)만으로도 우수한 성능을 보이며, 기준선을 넘어서는 d에 거의 민감하지 않다.
• 파손과 대류 문제에서 L-DeepONET은 FNO 변형과 동등하거나 더 나은 성능을 보이고, 레이얼-벤하드 대류에서는 FNO-3D를 현저히 능가한다.
• L-DeepONet의 학습 비용은 전체 DeepONet에 비해 1~2 orders of magnitude 더 저렴하다.
• 취성 파손의 경우 L-DeepONET은 실제 값(ground truth)에 가까운 온도/예측 필드를 산출하는 반면, 전체 모델은 편차를 보인다.
• 얕은 물 방정식에서 L-DeepONet은 정확도를 유지하는 반면, 전체 DeepONet은 고차원 속도 필드에서 어려움을 겪는다.