[논문 리뷰] Operator Learning with Neural Fields: Tackling PDEs on General Geometries

Louis Serrano, Lise Le Boudec외 5명|arXiv (Cornell University)|2023. 06. 12.

Model Reduction and Neural Networks참고 문헌 51인용 수 15

한 줄 요약

CORAL은 일반 기하학에서의 함수들 사이를 매핑하는 좌표 기반 신경장 다항 연산자를 도입하여 비정형 메시는 PDE 해결을 가능하게 하고, IVP, 동역학, 기하학 인식 추론 작업 전반에서 강력한 다재다능함을 보여준다.

ABSTRACT

Machine learning approaches for solving partial differential equations require learning mappings between function spaces. While convolutional or graph neural networks are constrained to discretized functions, neural operators present a promising milestone toward mapping functions directly. Despite impressive results they still face challenges with respect to the domain geometry and typically rely on some form of discretization. In order to alleviate such limitations, we present CORAL, a new method that leverages coordinate-based networks for solving PDEs on general geometries. CORAL is designed to remove constraints on the input mesh, making it applicable to any spatial sampling and geometry. Its ability extends to diverse problem domains, including PDE solving, spatio-temporal forecasting, and inverse problems like geometric design. CORAL demonstrates robust performance across multiple resolutions and performs well in both convex and non-convex domains, surpassing or performing on par with state-of-the-art models.

연구 동기 및 목표

• 일반 기하학에서 PDE를 해결하기 위해 무한 차원 함수 공간 간의 매핑 학습을 동기화한다.
• 메시 제약 없이 불규칙 샘플링을 지원하는 유연한 연산자 학습 프레임워크를 개발한다.
• 여러 물리정보 기반 작업(초기값 문제, 동역학 예측, 기하학 인식 추론) 전반에서 CORAL을 시연한다.
• 미지의 격자와 기하학에 대한 강인성을 좌표 기반 표현 사용으로 보여준다.

제안 방법

• 공유 기본 매개변수와 각 함수별 모듈레이션을 가지는 두 개의 조절된 암시적 신경 표현(INR)을 사용하여 입력 및 출력 함수를 인코딩한다.
• 공간 인코더를 통해 입력을 저차원 잠재 코드로 인코딩하고, 모듈레이션이 있는 INR을 통한 자동 디코딩으로 재구성한다.
• 잠재 코드를 잠재를 입력으로 받아 출력 잠재로 매핑하는 잠재 처리기를 통해(간단한 MLP나 Neural ODE 해석기 등) 처리한다.
• 출력 잠재 코드를 모듈레이션된 INR로 디코딩하여 임의의 질의 위치에서 예측을 얻는다.
• 두 단계 절차로 학습한다: 먼저 입력/출력을 재구성하도록 INR을 적합시키고, 그다음 잠재 공간 프로세서를 학습한다.
• 표현력과 효율성의 균형을 맞추기 위해 쉬프트 모듈레이션이 있는 SIREN 기반 INR을 채용한다.

실험 결과

연구 질문

• RQ1 CORAL은 메시 제약 없이 불규칙하거나 미지의 격자에서 샘플된 함수들 간 매핑을 학습할 수 있는가?
• RQ2 초기값 문제, 동역학 예측, 기하학 인식 추론 등 다양한 작업에서 CORAL의 성능은 어떠한가?
• RQ3 기존의 연산자 또는 메시 기반 모델과 비교할 때 공간 샘플링 및 기하학의 변화에 대해 CORAL은 얼마나 강인한가?
• RQ4 잠재 코드와 함께하는 두 단계 학습이 복잡한 연산자 학습을 빠르고 효과적으로 가능하게 하는가?
• RQ5 볼록 및 비볼록 도메인, 평면 대 구형 기하학에서 CORAL의 성능이 최첨단 기준과 어떻게 비교되는가?

주요 결과

• CORAL은 IVP, 동역학 예측, 기하학 인식 추론 작업에서 경쟁력 있는 또는 최첨단 성능을 달성한다.
• 모델은 학습 중에 보지 않은 새로운 격자에 대해 잘 일반화하며, 매우 불규칙한 샘플링과 비볼록 영역을 포함한다.
• CORAL은 공간 희소성과 메시 세분성의 변화에서도 높은 성능을 유지하며, 종종 대안적 메시 기반 또는 고정 격자 연산자보다 우수하다.
• 공간 함수의 효율적 디코딩을 가능하게 하는 소형 잠재 표현 덕분에 추론이 빠르다.
• 여러 기준선과 비교할 때, CORAL은 그리드 변화와 불규칙 샘플링에 대한 강인성을 보이며, 일부 방법은 학습 그리드에 과적합하는 경향이 있다.