[논문 리뷰] Learning to Control PDEs with Differentiable Physics

Philipp Holl, Vladlen Koltun외 1명|arXiv (Cornell University)|2020. 01. 21.

Model Reduction and Neural Networks참고 문헌 57인용 수 44

한 줄 요약

이 논문은 미분가능한 PDE 해석기를 갖춘 계층적 예측-수정 프레임워크를 제시하여 PDE 지배 시스템의 장기 제어를 학습하고, 불르거 방정식(Burgers)과 불가압 Navier–Stokes 흐름에서 부분 관측 가능성 하에 시연한다.

ABSTRACT

Predicting outcomes and planning interactions with the physical world are long-standing goals for machine learning. A variety of such tasks involves continuous physical systems, which can be described by partial differential equations (PDEs) with many degrees of freedom. Existing methods that aim to control the dynamics of such systems are typically limited to relatively short time frames or a small number of interaction parameters. We present a novel hierarchical predictor-corrector scheme which enables neural networks to learn to understand and control complex nonlinear physical systems over long time frames. We propose to split the problem into two distinct tasks: planning and control. To this end, we introduce a predictor network that plans optimal trajectories and a control network that infers the corresponding control parameters. Both stages are trained end-to-end using a differentiable PDE solver. We demonstrate that our method successfully develops an understanding of complex physical systems and learns to control them for tasks involving PDEs such as the incompressible Navier-Stokes equations.

연구 동기 및 목표

• 다자유도인 복잡한 PDE에 대한 학습 기반 제어의 필요성을 제시한다.
• 제어를 계획(예측) 모듈과 실행(수정) 모듈로 분리한다.
• 엔드투엔드 학습을 위해 시간에 걸쳐 역전파할 수 있는 미분가능한 PDE 해석기를 활용한다.
• 여러 타임스케일에 걸친 계층적 시간 모델링으로 장기 제어를 가능하게 한다.
• 전체 상태가 아니라 관찰 가능한 상태에 조건을 두어 부분 관측 가능성을 다룬다.

제안 방법

• 관측 예측기(OP)와 제어 힘 추정기(CFE)를 갖춘 예측-수정 아키텍처를 제안한다.
• 시간 간격 사이 중간 관찰 가능 상태의 예측을 재귀적으로 모델링하여 다중 시간 스케일에 걸친 시간적 계층 구조를 만든다.
• 각 시간 스케일마다 고유한 OP 모델을 구성하고 안정성과 정확성을 위해 예측-정제 실행 방식으로 학습한다.
• 전 차선을 통해 역전파하기 위해 미분가능한 PDE 해석기(PhiFlow)를 사용하고 미분가능한 물리 손실로 제어 힘을 최적화한다.
• 미분가능한 물리 손실과 선택적 지도 학습 손실을 결합하여 목표 관찰치를 맞추면서 제어 힘의 제곱의 적분을 최소화하는 에이전트를 학습한다.
• 계획 정확성과 계산 효율성의 균형을 맞추기 위해 실행 순서(예측-정제, 계단식 실행)를 논의한다.

실험 결과

연구 질문

• RQ1 신경 에이전트가 PDE에 의해 지배되는 시스템을 장기간에 걸쳐 제어하는 것을 학습할 수 있는가?
• RQ2 미분가능한 해석기를 갖춘 계층적 예측-수정 구조가 부분 관측 가능성 하에서 안정적인 장기 제어를 가능하게 하는가?
• RQ3 시간적 계층 구조와 예측 정제가 PDE 제어에서 단일 촬영이나 순수 감독 학습 접근법과 어떻게 비교되는가?
• RQ4 관찰 가능한 상태 조건화가 제어 성능에 미치는 영향은 무엇인가?

주요 결과

• 미분가능한 물리 손실은 순수한 감독 학습과 비교하여 궤적 재구성 품질을 현저히 향상시킨다.
• 정제된 예측-정제 스킴은 Burgers’ 방정식에서 시험된 방법 중 가장 낮은 제어 노력을 달성한다(14.2 ±0.7 vs 83.4 ±2.0, CFE 체인 감독).
• Burgers’ 방정식의 경우, 정제된 미분가능 물리 설정은 반복 최적화에 비해 훨씬 짧은 추론 시간(3.05 ±0.37 ms)으로 유사한 궤적 품질을 달성한다.
• 2D 비압축 흐름에서 미분가능 물리학을 갖춘 계단식(staggered) 및 정제 스킴은 감독 기반 기준보다 훨씬 작은 힘을 필요로 한다(예: 자연 흐름 작업에서 22.6 ±1.1 vs 243 ±11).
• 형상/유동 과제에서 정제된 미분물리 예측은 계단식 변형의 최종 손실의 약 절반에 해당하며 부드러운 전이로 목표 상태에 수렴한다.
• 학습된 해 공간은 거의 즉시 추론을 가능하게 하고 전통적 해석기에 대한 좋은 초기 추정값으로 작용하여 수렴을 개선한다.