[논문 리뷰] Solver-in-the-Loop: Learning from Differentiable Physics to Interact with Iterative PDE-Solvers

Kiwon Um, Robert Brand외 4명|arXiv (Cornell University)|2020. 06. 30.

Model Reduction and Neural Networks참고 문헌 76인용 수 117

한 줄 요약

논문은 차분 가능 프레임워크에서 반복 PDE 솔버와 상호 작용하는 신경 보정을 학습하여 여러 PDE 시나리오에서 수치 오류를 크게 감소시키고 비상호 작용 또는 사전 계산 보정 접근법보다 우수함을 보여줍니다.

ABSTRACT

Finding accurate solutions to partial differential equations (PDEs) is a crucial task in all scientific and engineering disciplines. It has recently been shown that machine learning methods can improve the solution accuracy by correcting for effects not captured by the discretized PDE. We target the problem of reducing numerical errors of iterative PDE solvers and compare different learning approaches for finding complex correction functions. We find that previously used learning approaches are significantly outperformed by methods that integrate the solver into the training loop and thereby allow the model to interact with the PDE during training. This provides the model with realistic input distributions that take previous corrections into account, yielding improvements in accuracy with stable rollouts of several hundred recurrent evaluation steps and surpassing even tailored supervised variants. We highlight the performance of the differentiable physics networks for a wide variety of PDEs, from non-linear advection-diffusion systems to three-dimensional Navier-Stokes flows.

연구 동기 및 목표

• 반복형 PDE 솔버에서의 이산화 및 수치 오류 감소를 동기화합니다.
• 솔버와 상호 작용할 수 있는 신경망으로 학습된 보정 함수를 제안합니다.
• 정확도와 안정성을 비교하기 위한 세 가지 학습 방식(NON, PRE, SOL)을 비교합니다.
• 2D/3D 흐름에서의 Poisson 문제까지 다양한 PDE에 걸쳐 이득을 입증합니다.
• 학습 중 사전 예측 롤아웃이 장기 정확도와 안정성에 미치는 영향을 평가합니다.

제안 방법

• 보정 함수 C(s|θ)를 솔버 상태 s에 보정을 더하는 신경망으로 모델링합니다.
• 엔드 투 엔드 학습(솔버-루프)을 가능하도록 차 differentiable PDE 솔버 안에 신경 보정을 삽입합니다.
• NON(상호 작용 없음), PRE(사전 계산 상호 작용), SOL(솔버-루프) 학습 방식의 대조를 수행합니다.
• ADAM(lr=1e-4)으로 학습된 완전 합성곱 네트워크(10층, 16 특징)를 사용합니다.
• 보정된 궤적과 기준 궤적 간의 평균 절대 오차를 n 스텝 동안 측정하고, 미리 보기 n( SOL n )를 적용하여 성능을 평가합니다.
• 적용 대상: 전향-확산, 2D/3D Navier–Stokes, 부력 기반 흐름, Poisson 관련 CG 초기화 작업에 적용합니다.

실험 결과

연구 질문

• RQ1 차 differentiable PDE 솔버 내부에서 학습된 신경 보정이 전통적 감독 학습 또는 사전 계산 보정보다 반복적 솔버에 대해 더 나은 성능을 보여줄 수 있을까?
• RQ2 다양한 PDE 전반에 걸친 장기 정확도와 안정성에 대해 서로 다른 미리 보기 horizon을 갖춘 솔버-루프 학습이 어떤 영향을 미치는가?
• RQ3 NON, PRE, SOL 상호 작용 모드의 수치 오차 감소에 대한 비교 이점과 한계는 무엇인가?
• RQ4 미분 가능 물리학으로 학습된 보정이 분포 밖의 초기 조건 및 고차원 흐름으로 일반화되는가?

주요 결과

• 솔버-루프 보정은 비상호 작용 및 사전 계산 방법 대비 상당한 정확도 이점을 제공한다.
• 더 긴 미리 보기 horizon을 갖춘 SOL 모델은 오류를 극적으로 줄이며(일부 사례에서 상대적 개선 약 60%까지 가능).
• 미분 가능 물리학 학습은 감독 학습 또는 사전 계산 보정보다 향상을 제공하며, 장기 롤아웃에서도 안정적이다.
• 3D 와이크 흐름에서 SOL 보정으로 수치 정확도가 22% 이상 향상된다.
• 학습 비용은 증가하지만 추론은 변함없으며, 엔드 투 엔드 시뮬레이션에서 속도 향상이 달성된다(예: 한 시나리오에서 CPU 참조 대비 68배 빠름).
• 보정은 분포 밖의 초기 조건에 일반화되고 재발생 PDE 풀이의 안정성을 향상시킨다.