[논문 리뷰] CROM: Continuous Reduced-Order Modeling of PDEs Using Implicit Neural Representations

Peter Yichen Chen, Jinxu Xiang외 7명|arXiv (Cornell University)|2022. 06. 06.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

CROM은 PDE의 연속적인 감소 차원 모델링 프레임워크를 제안하며, 암묵적 신경 표현을 사용해 이산화에 의존하지 않는 연속 벡터장 직접 모델링을 가능하게 한다. 다양한 수치적 해를 기반으로 미분 가능한 신경장에 훈련시킴으로써, CROM은 POD 및 오토에코더 ROM보다 각각 79배, 49배 높은 정확도를 달성하며, 메모리 사용량은 39배, 132배 줄여 동적 해상도 적응이 가능하고 CPU/GPU에서 각각 109배/89배의 속도 향상을 이룬다.

ABSTRACT

The long runtime of high-fidelity partial differential equation (PDE) solvers makes them unsuitable for time-critical applications. We propose to accelerate PDE solvers using reduced-order modeling (ROM). Whereas prior ROM approaches reduce the dimensionality of discretized vector fields, our continuous reduced-order modeling (CROM) approach builds a low-dimensional embedding of the continuous vector fields themselves, not their discretization. We represent this reduced manifold using continuously differentiable neural fields, which may train on any and all available numerical solutions of the continuous system, even when they are obtained using diverse methods or discretizations. We validate our approach on an extensive range of PDEs with training data from voxel grids, meshes, and point clouds. Compared to prior discretization-dependent ROM methods, such as linear subspace proper orthogonal decomposition (POD) and nonlinear manifold neural-network-based autoencoders, CROM features higher accuracy, lower memory consumption, dynamically adaptive resolutions, and applicability to any discretization. For equal latent space dimension, CROM exhibits 79$ imes$ and 49$ imes$ better accuracy, and 39$ imes$ and 132$ imes$ smaller memory footprint, than POD and autoencoder methods, respectively. Experiments demonstrate 109$ imes$ and 89$ imes$ wall-clock speedups over unreduced models on CPUs and GPUs, respectively. Videos and codes are available on the project page: https://crom-pde.github.io

연구 동기 및 목표

• PDE의 특정 이산화에 의존하는 전통적 감소 차원 모델(ROM)의 한계를 해결한다.
• 이산적 그리드 기반 표현이 아닌 연속적인 벡터장에 대한 모델 감소를 가능하게 한다.
• 훈련 데이터에서 사용된 공간 해상도, 메쉬 유형 또는 이산화 방법에 관계없이 불변인 ROM 프레임워크를 개발한다.
• 시뮬레이션 중 동적 해상도 적응을 지원하면서도 고정확도와 낮은 메모리 사용량을 달성한다.
• 바이오크립트, 메쉬, 포인트 클라우드를 포함한 다양한 이산화 유형에서 효율적이고 실시간 PDE 시뮬레이션을 가능하게 한다.

제안 방법

• 공간 위치 $\mathbf{x}$ 와 잠재 벡터 $\mathbf{q}$ 를 입력으로 받는 연속적으로 미분 가능한 신경장 $\mathbf{g}(\mathbf{x}, \mathbf{q})$ 를 사용해 연속 PDE 해의 감소 다양체를 표현한다.
• 메쉬, 포인트 클라우드, 볼록 격자 등 어떤 이산화 유형이든 상관없이 PDE의 수치적 해를 기반으로 신경장 $\mathbf{g}$ 를 훈련시킨다.
• 시간에 따른 PDE의 시간 스텝을 통해 $\mathbf{q}(t)$ 를 진화시키는 잠재공간 동역학 프레임워크를 사용하며, 각 단계에서 $\mathbf{g}$ 를 통해 전체 공간의 장 재구성한다.
• 일致성을 확보하기 위해 진화된 전체 공간 장을 다시 잠재공간으로 투영하기 위해 최소 제곱 최적화를 통한 네트워크 역행을 수행한다.
• 자동 미분을 활용해 신경장에서 직접 공간 및 시간 기울기를 계산함으로써 PDE 시간 적분을 가능하게 한다.
• 모델 아키텍처를 이산화로부터 분리하기 위해, 이산 계수가 아닌 잠재공간에서 연속적 장 값으로의 연속적 매핑을 학습한다.

실험 결과

연구 질문

• RQ1 다양한 이산화 유형(예: 메쉬, 포인트 클라우드, 볼록 격자)에서 재훈련 없이 또는 아키텍처 변경 없이 ROM을 훈련시킬 수 있는가?
• RQ2 이산 근사가 아닌 연속 장을 직접 모델링할 경우, 더 높은 정확도와 낮은 메모리 사용량을 달성할 수 있는가?
• RQ3 시뮬레이션 중에 메쉬 재구성 또는 격자 밀도 변경과 같은 동적 해상도 적응을 지원할 수 있는가?
• RQ4 여러 PDE에 걸쳐 전통적 POD 및 오토에코더 기반 ROM과 비교했을 때, 연속 ROM의 정확도와 안정성은 어떠한가?
• RQ5 이 방법은 솔루션 무결성을 유지하면서 PDE 시뮬레이션을 얼마나 가속화할 수 있는가?

주요 결과

• CROM은 다수의 PDE에 걸쳐 동일한 잠재공간 차원에서 고유직교분해(POD) ROM보다 79배 높은 정확도를 달성한다.
• 이산화에 의존하지 않는 아키텍처 덕분에 비선형 다양체 오토에코더 ROM 대비 메모리 사용량을 132배 줄였다.
• CPU와 GPU에서 각각 109배, 89배의 월클록 속도 향상을 기록했으며, 다양한 PDE에서 일관된 성능을 유지를 하였다.
• 큰 시간 스텝에서도 안정성을 유지하였으며, 전체 순서 모델이 불안정해지는 상황에서도 오차가 약 1% 수준으로 유지되었다.
• 잠재공간 궤적은 매끄럽고 비선형적으로 진화하며, 잠재공간 내 선형 보간은 빌드된 전환을 시각적으로 유의미하게 만든다.
• CROM은 동적 해상도 적응을 지원하며, 포인트 클라우드 및 비정형 메쉬를 포함한 모든 이산화 유형에 적용 가능하다.