[논문 리뷰] A machine learning framework for data driven acceleration of computations of differential equations

Siddhartha Mishra|arXiv (Cornell University)|2018. 07. 25.

Model Reduction and Neural Networks참고 문헌 22인용 수 19

한 줄 요약

이 논문은 일반화된 수치적 방법을 신경망으로 재구성한 기계학습 프레임워크를 제안하며, 미세 격자 해와의 오차를 최소화하기 위해 경사 하강법을 사용해 파arameter를 훈련시켜 시간에 따라 변화하는 상미분방정식과 편미분방정식의 수치적 해법을 가속화한다. 이 방법은 표준 방법 대비 최대 1000배 빠른 속도를 달성하면서도 기초 미분방정식과의 일致성을 유지한다.

ABSTRACT

We propose a machine learning framework to accelerate numerical computations of time-dependent ODEs and PDEs. Our method is based on recasting (generalizations of) existing numerical methods as artificial neural networks, with a set of trainable parameters. These parameters are determined in an offline training process by (approximately) minimizing suitable (possibly non-convex) loss functions by (stochastic) gradient descent methods. The proposed algorithm is designed to be always consistent with the underlying differential equation. Numerical experiments involving both linear and non-linear ODE and PDE model problems demonstrate a significant gain in computational efficiency over standard numerical methods.

연구 동기 및 목표

• 기초 미분방정식과의 일치성을 훼손하지 않으면서 시간에 따라 변화하는 ODE 및 PDE의 수치적 계산을 가속화하기 위해.
• 표준 수치적 방법의 계산 효율성을 향상시키기 위해, 굵은 격자에서 기계학습을 사용해 수치적 방법 파arameter를 훈련시키기 위해.
• 불확실성 정량, 역문제, 최적 제어 분야에서 실시간 또는 대규모 시뮬레이션을 가능하게 하기 위해 굵은 격자 정확도를 향상시키기 위해.
• 기존 수치적 방법과의 통합을 통해 안정성과 일치성을 유지하는 프레임워크를 개발하기 위해.
• 제약된 파arameter 공간을 가진 딥러닝의 잠재력을 탐색하여 표준 방법을 초월하는 성능을 달성할 수 있는지 조사하기 위해.

제안 방법

• 표준 수치적 방법(예: BDF, 유한차분, 유한체적)을 훈련 가능한 파arameter를 가진 인공신경망으로 재구성하기 위해.
• 粗격자 해와 투영된 미세격자 해 사이의 오차를 측정하는 손실 함수를 최소화하기 위해 확률적 경사 하강법을 사용해 이러한 파arameter를 훈련시키기 위해.
• 기존 수치적 방법의 일반화된 형태로 파arameter 공간을 제약하여 미분방정식과의 일치성을 확보하기 위해.
• 훈련 중 솔루션 오차를 L¹ 또는 L² 노름으로 측정하기 위해 손실 함수를 사용하기 위해.
• 안정성과 수렴 성질을 유지하기 위해 표준 수치적 방법에 해당하는 파arameter로 훈련을 초기화하기 위해.
• TensorFlow와 같은 딥러닝 소프트웨어를 사용해 프레임워크를 구현하면서도, 물리적 일치성을 유지하기 위해 훈련 가능한 파arameter를 제한하기 위해.

실험 결과

연구 질문

• RQ1 기계학습을 사용해 일반화된 수치적 방법의 파arameter를 훈련시켜 굵은 격자에서 정확도를 크게 향상시킬 수 있는가?
• RQ2 경사 하강법을 통해 수치적 방법 파arameter를 훈련시키는 것이 기초 미분방정식과의 일치성과 안정성을 유지하는가?
• RQ3 이 프레임워크는 표준 수치적 방법 대비 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 선형 및 비선형 ODE 및 PDE에 걸쳐 성능 향상은 어떻게 달라지는가?
• RQ5 이 접근법은 불확실성 정량 및 역문제 분야의 복잡하고 고차원적인 문제로 확장될 수 있는가?

주요 결과

• 제안된 방법은 선형 문제에 대해 표준 수치적 방법 대비 최대 3개 지수의 계산 효율성 향상을 달성한다.
• 비선형 문제에 대해서는 계산 속도에서 최소한 1개 지수의 향상을 제공한다.
• 일반화된 BDF2 방법에서, 파arameter를 최적화했을 때 표준 방법 대비 오차가 677.95배 감소했다.
• 프레임워크는 굵은 격자에서 일致하고 정확한 해를 지속적으로 생성하여 실시간 또는 대규모 시뮬레이션에 잠재적으로 활용 가능하다.
• 이 방법은 설계상 기초 미분방정식과의 일치성을 유지한다. 이는 엔드 투 엔드 딥러닝 접근법이 물리적 정밀도를 상실할 수 있는 반면, 이 방법은 그렇지 않음을 의미한다.
• 훈련 결과는 확산 계수나 파동 속도와 같은 문제 파arameter에 매우 의존적이었으며, 문제 특성에 민감함을 시사한다.