[논문 리뷰] PROSE: Predicting Operators and Symbolic Expressions using Multimodal Transformers

Yuxuan Liu, Zecheng Zhang외 1명|arXiv (Cornell University)|2023. 09. 28.

Model Reduction and Neural NetworksPhysics and Astronomy인용 수 3

한 줄 요약

PROSE는 다중모odal 트랜스포머 프레임워크를 도입하여 데이터에서 다수의 매개변수화된 상미분방정식(OEDs)에 대한 해를 동시에 예측하고 그에 해당하는 기여 심벌 방정식을 탐색한다. 수치 데이터와 심벌 표현을 융합함으로써, 여러 ODE 가족에 걸쳐 단일 연산자 네트워크를 학습하며, 해 예측(3.29% 상대 오차)과 심벌 회복(0.36% 표현 오차) 모두 높은 정확도를 달성하고, 분포 외 데이터에 대한 강력한 일반화 능력과 노이즈 및 모델 오류에 대한 강건성을 보인다.

ABSTRACT

Approximating nonlinear differential equations using a neural network provides a robust and efficient tool for various scientific computing tasks, including real-time predictions, inverse problems, optimal controls, and surrogate modeling. Previous works have focused on embedding dynamical systems into networks through two approaches: learning a single solution operator (i.e., the mapping from input parametrized functions to solutions) or learning the governing system of equations (i.e., the constitutive model relative to the state variables). Both of these approaches yield different representations for the same underlying data or function. Additionally, observing that families of differential equations often share key characteristics, we seek one network representation across a wide range of equations. Our method, called Predicting Operators and Symbolic Expressions (PROSE), learns maps from multimodal inputs to multimodal outputs, capable of generating both numerical predictions and mathematical equations. By using a transformer structure and a feature fusion approach, our network can simultaneously embed sets of solution operators for various parametric differential equations using a single trained network. Detailed experiments demonstrate that the network benefits from its multimodal nature, resulting in improved prediction accuracy and better generalization. The network is shown to be able to handle noise in the data and errors in the symbolic representation, including noisy numerical values, model misspecification, and erroneous addition or deletion of terms. PROSE provides a new neural network framework for differential equations which allows for more flexibility and generality in learning operators and governing equations from data.

연구 동기 및 목표

• 여러 매개변수화된 ODE에 걸쳐 데이터로부터 해 연산자와 심벌로 지배되는 방정식을 동시에 학습하는 통합 딥러닝 프레임워크 개발
• 기존의 연산자 학습 방법이 각 ODE에 대해 별도로 훈련이 필요하고 방정식 가족 간 일반화 능력이 부족한 점을 보완
• 단일 다중모달 신경망을 통해 수치적 해와 심벌 표현을 동시에 예측할 수 있도록 설계
• 노이즈, 모델 부정확성, 잘못된 심벌 항목이 포함된 데이터에 대한 일반화 능력과 강건성 향상
• 분포 외 예측과 심벌 모델 발견이 가능한 융통성 있고 이식 가능한 아키텍처 구축

제안 방법

• 수치적 시계열 데이터와 심벌 표현을 입력 모odal로 다루기 위해 다중모달 트랜스포머 아키텍처를 사용
• 데이터와 심벌 표현 간의 상호작용을 가능하게 하기 위해 크로스모달 주의(Cross-modality attention)를 지원하는 특징 융합 레이어 도입
• 해 궤적 예측과 동시에 지배 ODE의 심벌 형태를 생성하도록 엔드 투 엔드로 훈련
• N개의 서로 다른 ODE에 대해 공유 표현을 학습할 수 있도록 다중연산자 학습 목표 함수 도입
• 수학적으로 타당한 ODE를 올바른 문법과 구조로 생성하기 위해 조건부 시퀀스 생성 헤드를 활용한 심벌 생성 수행
• 해 예측을 위한 L2 손실과 심벌 표현 생성을 위한 교차엔트로피 손실의 조합을 사용해 훈련

실험 결과

연구 질문

• RQ1 단일 신경망이 다수의 매개변수화된 ODE에 대해 동시에 해 궤적을 예측하고 지배 심벌 방정식을 탐색할 수 있는가?
• RQ2 데이터와 심벌 표현의 다중모달 융합이 단일모달 모델 대비 예측 정확도와 일반화 능력을 얼마나 향상시키는가?
• RQ3 훈련 중에 볼 수 없었던 새로운 ODE에 대해 모델이 얼마나 잘 일반화되는가, 특히 노이즈 또는 손상된 입력 조건에서의 성능은 어떠한가?
• RQ4 계수나 항목이 변형되거나 누락된 경우에 모델이 진짜 ODE의 심벌 형태를 얼마나 효과적으로 복구하는가?
• RQ5 모델이 생성한 심벌 표현은 예측을 넘어서 보존량이나 대칭성과 같은 과학적 통찰을 제공할 수 있는가?

주요 결과

• PROSE 모델은 'Unknown (3D)' 테스트 세트에서 상대 예측 오차 3.29%를 기록하여 해 예측의 높은 정확도를 입증
• 심벌 표현 오차는 단지 0.36%에 불과하여, 노이즈나 손상된 입력 조건에서도 진짜 지배 방정식을 매우 정밀하게 복원함을 시사
• 입력 센서 수를 감소시켜도 높은 성능 유지하여, 심벌 모달이 데이터 예측을 향상시키는 데 핵심 정보를 제공함을 입증
• 분포 외 ODE에 대해 심벌 표현 복원 정확도가 97.89% 이상을 기록하여 강력한 일반화 능력 확보
• 어텐션 맵을 통해 비트리비얼한 크로스모달 상호작용 확인하여 특징 융합이 데이터와 심벌 표현을 효과적으로 통합함을 검증
• 생성된 심벌 표현은 수학적으로 타당한 함수이며, 이를 통해 다른 시뮬레이션 기반 예측과 과학적 해석이 가능함