[논문 리뷰] Neuro-Symbolic Multitasking: A Unified Framework for Discovering Generalizable Solutions to PDE Families

Yipeng Huang, Dejun Xu외 3명|arXiv (Cornell University)|2026. 02. 12.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

이 논문은 NMIPS를 제시한다, 신경 보조 다중 작업 심볼릭 회귀 프레임워크로, 관련 PDE들 간에 학습된 구조를 전이하여 전체 PDE 계열에 대한 분석적 해를 발견하고, 기준 모델 대비 정확도와 해석성을 향상시킨다.

ABSTRACT

Solving Partial Differential Equations (PDEs) is fundamental to numerous scientific and engineering disciplines. A common challenge arises from solving the PDE families, which are characterized by sharing an identical mathematical structure but varying in specific parameters. Traditional numerical methods, such as the finite element method, need to independently solve each instance within a PDE family, which incurs massive computational cost. On the other hand, while recent advancements in machine learning PDE solvers offer impressive computational speed and accuracy, their inherent ``black-box" nature presents a considerable limitation. These methods primarily yield numerical approximations, thereby lacking the crucial interpretability provided by analytical expressions, which are essential for deeper scientific insight. To address these limitations, we propose a neuro-assisted multitasking symbolic PDE solver framework for PDE family solving, dubbed NMIPS. In particular, we employ multifactorial optimization to simultaneously discover the analytical solutions of PDEs. To enhance computational efficiency, we devise an affine transfer method by transferring learned mathematical structures among PDEs in a family, avoiding solving each PDE from scratch. Experimental results across multiple cases demonstrate promising improvements over existing baselines, achieving up to a $\sim$35.7% increase in accuracy while providing interpretable analytical solutions.

연구 동기 및 목표

• 매개변수화된 인스턴스 간에 공유되는 수학적 구조를 활용해 PDE 계열을 효율적으로 해결할 필요성을 제시한다.
• 한 계열 내의 여러 PDE를 동시에 해결하기 위한 다중 작업 심볼릭 회귀 프레임워크를 제안한다.
• PDE 인스턴스 간에 학습된 수학적 구조를 재활용하기 위한 아핀 전송 방법을 개발한다.
• 블랙박스 수치 근사치가 아닌 해석 가능한 분석적 해를 제공한다.
• PDE 가족 벤치마크에서 정확도 및 일반화 성능의 실증적 향상을 입증한다.

제안 방법

• 다요인 최적화를 사용하여 K개의 PDE 작업을 병렬로 해결하는 통합 인코딩 공간을 활용한다.
• 해석적 해를 메인 함수와 재사용 가능한 ADF 하위 함수들을 포함하는 Karva 표현식으로 인코딩된 표현 트리로 표현한다.
• 정수 기반 기호 표현과 작업 특화 디코딩을 사용하여 C-ADF 인코딩을 다중 작업 설정으로 확장한다.
• 상수의 그래디언트 기반 조정과 자동 미분을 통해 데이터 적합도(RMSE)와 물리적 일관성(PDE 잔차, 초기/경계 조건)을 평가한다.
• 학습 가능한 MLP를 사용하여 두 작업 집단 간의 아핀 변환 기반 지식 전이를 도입하고, 스케일링 및 시프트 매개변수를 생성한다.
• 다양성 유지를 위해 두 가지 재생 전략(일점 교차와 균일 돌연변이, 그리고 교차를 수반한 DE 기반 돌연변이)을 사용한다.

실험 결과

연구 질문

• RQ1 하나의 단일 다중 작업 심볼릭 회귀 프레임워크가 매개변수가 다양한 전체 PDE 가족에 대한 해석적 해를 발견할 수 있는가?
• RQ2 PDE 인스턴스들 간의 공유 수학적 구조를 어떻게 활용하여 발견 속도를 높이고 일반화를 개선할 수 있는가?
• RQ3 아핀 변환 기반 지식 전이가 PDE 작업 간에 학습된 구조를 효과적으로 전달하여 성능을 높이는가?
• RQ4 학습된 해석적 해가 높은 데이터 적합도를 달성하는 동시에 PDE 잔차, 초기 및 경계 조건과 물리적 일관성을 유지하는가?

주요 결과

• NMIPS 프레임워크는 기준과 비교하여 정확도에서 최대 약 35.7%의 향상을 달성한다.
• 통합 염색체 인코딩은 각 인스턴스를 새로 해결하지 않고도 가족 내의 다수 PDE 작업을 해결하도록 한다.
• 학습된 스케일링 및 시프트 매개변수를 통한 아핀 전이는 PDE 인스턴스 간에 공유 구조를 전이시켜 발견을 가속화한다.
• 표현식 내의 상수는 그래디언트 방법으로 최적화되어 데이터 손실과 물리 손실의 합을 최소화한다.
• NMIPS는 단일 작업 접근법에 비해 노이즈가 많은 데이터 설정에서 우수한 일반화를 보여준다.