[논문 리뷰] Learning Controllable Adaptive Simulation for Multi-resolution Physics

Tailin Wu, Takashi Maruyama외 3명|arXiv (Cornell University)|2023. 05. 01.

Scientific Computing and Data Management인용 수 4

한 줄 요약

LAMP는 그래프 신경망과 강화학습을 사용하여 물리 시스템의 진동을 공동으로 학습하고, 적응형 공간 해상도의 정밀화 및 희소화 정책을 학습하는 딥러닝 기반의 서rogate 모델이다. 1D 비선형 PDE에서 장기 예측 오차를 33.7% 감소시키며, 계산 자원을 고역동성 영역에 동적으로 할당함으로써 2D 메시 기반 시뮬레이션에서 최신 기술을 초월한다. 이는 오차와 계산 비용을 균형 잡는 데 기여한다.

ABSTRACT

Simulating the time evolution of physical systems is pivotal in many scientific and engineering problems. An open challenge in simulating such systems is their multi-resolution dynamics: a small fraction of the system is extremely dynamic, and requires very fine-grained resolution, while a majority of the system is changing slowly and can be modeled by coarser spatial scales. Typical learning-based surrogate models use a uniform spatial scale, which needs to resolve to the finest required scale and can waste a huge compute to achieve required accuracy. In this work, we introduce Learning controllable Adaptive simulation for Multi-resolution Physics (LAMP) as the first full deep learning-based surrogate model that jointly learns the evolution model and optimizes appropriate spatial resolutions that devote more compute to the highly dynamic regions. LAMP consists of a Graph Neural Network (GNN) for learning the forward evolution, and a GNN-based actor-critic for learning the policy of spatial refinement and coarsening. We introduce learning techniques that optimizes LAMP with weighted sum of error and computational cost as objective, allowing LAMP to adapt to varying relative importance of error vs. computation tradeoff at inference time. We evaluate our method in a 1D benchmark of nonlinear PDEs and a challenging 2D mesh-based simulation. We demonstrate that our LAMP outperforms state-of-the-art deep learning surrogate models, and can adaptively trade-off computation to improve long-term prediction error: it achieves an average of 33.7% error reduction for 1D nonlinear PDEs, and outperforms MeshGraphNets + classical Adaptive Mesh Refinement (AMR) in 2D mesh-based simulations. Project website with data and code can be found at: http://snap.stanford.edu/lamp.

연구 동기 및 목표

• 오직 소수의 영역만 고역동성인 다중 해상도 물리 시스템을 시뮬레이션하는 데 도전하는 것 — 대부분의 영역은 느리게 진화하므로 정밀한 해상도가 필요하다.
• 균일한 해상도를 사용하는 딥러닝 서rogate 모델의 비효율성을 해결하는 것 — 느린 영역에서는 계산 자원을 낭비하고, 동적 영역은 부족하게 해상도를 확보할 수 있다.
• 진동 모델링과 공간 해상도 적응 최적화를 공동으로 최적화하는 완전히 미분 가능한 엔드 투 엔드 딥러닝 프레임워크를 개발하는 것.
• 학습 가능한 정책을 통해 추론 시 예측 오차와 계산 비용 사이의 동적 트레이드오프를 가능하게 하는 것.
• 장기 시뮬레이션 정확도에서 최신 기술의 서rogate 모델과 고전적 적응형 메시 정밀화를 초월하는 성능을 입증하는 것.

제안 방법

• LAMP는 동적 메시 위에서 물리 시스템의 전진 진동을 학습하기 위해 그래프 신경망(GNN)을 사용한다.
• 지역 메시 정밀화 및 희소화 정책을 학습하기 위해 GNN 기반의 액터-크리틱 강화학습 프레임워크를 활용한다.
• 정책은 지역 상태 특징과 오차와 계산 비용 간의 트레이드오프를 제어하는 하이퍼파rameter β에 조건이 된다.
• 시스템은 교차 최적화를 통해 훈련된다: 진동 모델에 대해 지도학습, 정책에 대해 강화학습.
• 보상 함수는 다단계 롤아웃 동안 오차 감소와 계산 비용 감소의 가중합으로 정의된다.
• 메시 재구성은 정책 출력에 기반하여 정밀화 또는 희소화할 엣지를 선택한 후, 시간 단위 간 일관성을 유지하기 위해 보간을 수행함으로써 수행된다.

Figure 1: LAMP schematic. The forward iteration (upper box) first uses the policy $f_{\varphi}^{\text{policy}}$ to decide the number $K^{\text{re}}$ and $K^{\text{co}}$ of edges as well as which edges among the full mesh to be refined or coarsened, and then executes remeshing and interpolation. The

실험 결과

연구 질문

• RQ1 딥러닝 기반의 서rogate 모델이 물리 시스템의 진동과 적응형 공간 해상도 선택을 공동으로 학습할 수 있는가?
• RQ2 해당 모델이 장기 예측 오차를 줄이며 고역동성 영역에 계산 자원을 동적으로 할당할 수 있는가?
• RQ3 복잡한 시뮬레이션에서 학습된 메시 재구성 정책의 성능이 히우리스틱 또는 기저 진동 정책보다 어떻게 다른가?
• RQ4 추론 시 정확도와 계산 비용 간의 다양한 트레이드오프에 얼마나 잘 적응할 수 있는가?
• RQ5 동일한 PDE 가족 내 다양한 물리 시스템에 대해 모델이 일반화할 수 있는가?

주요 결과

• LAMP는 1D 비선형 PDE 벤치마크에서 최신 기술의 딥러닝 서rogate 모델 대비 장기 예측 오차를 33.7% 감소시켰다.
• 2D 종이 접기 시뮬레이션에서 LAMP는 메시 그래프넷 + 히우리스틱 메시 재구성 베이스라인(6.38e-4 MSE)과 메시 재구성 없음 아블레이션(6.13e-4 MSE)보다 낮은 오차(5.80e-4 MSE)를 달성했다.
• 기저 진동 메시 재구성 정책을 사용하는 강력한 베이스라인인 메시 그래프넷보다도 더 높은 정확도를 달성했음에도 불구하고, 학습된 메시 재구성 정책을 사용했다.
• 2D 시뮬레이션에서의 시각화 결과로, LAMP는 고곡률 영역(예: 접힘 부분)을 정밀화하고 평탄하고 느리게 변화하는 영역은 희소화하는 것을 성공적으로 학습했다.
• 높은 정확도를 달성하면서도 평균 정점 수가 123.1로 낮아 계산 자원의 효율적 사용을 보였다.
• 추론 시 다양한 β 값에 대해 모델이 강건하게 적응 가능하여 오차와 계산 비용 간의 동적 트레이드오프를 가능하게 했다.

Figure 2: Example rollout result of our LAMP on 1D nonlinear PDEs. The rollout is performed over 200 time steps, where different color denotes the system’s state at different time. On each state, we also plot the corresponding mesh as black dots. The upper green and lower blue band shows the added a