[논문 리뷰] NeuPDE: Neural Network Based Ordinary and Partial Differential Equations for Modeling Time-Dependent Data

Yifan Sun, Linan Zhang외 1명|arXiv (Cornell University)|2019. 08. 08.

Neural Networks and Applications인용 수 25

한 줄 요약

NeuPDE는 시간에 따라 변화하는 데이터를 일반선형미분방정식(ODE)/편미분방정식(PDE)으로 모델링하는 물리기반 신경망 프레임워크를 제안한다. 이는 고차항을 포함한 얕은 다층퍼셉트론(MLP)과 유한차분 연산자를 사용하여 매개변수화된다. 이는 동역학계의 모델링 정확도를 향상시키고, 이미지 분류 작업에서 파rameter 수를 감소시켜 MNIST에서 0.51% 오차, Fashion MNIST에서 7.6% 오차를 기록하며 표준 MLP와 ResNet보다 파rameter 효율성이 뛰어나다.

ABSTRACT

We propose a neural network based approach for extracting models from dynamic data using ordinary and partial differential equations. In particular, given a time-series or spatio-temporal dataset, we seek to identify an accurate governing system which respects the intrinsic differential structure. The unknown governing model is parameterized by using both (shallow) multilayer perceptrons and nonlinear differential terms, in order to incorporate relevant correlations between spatio-temporal samples. We demonstrate the approach on several examples where the data is sampled from various dynamical systems and give a comparison to recurrent networks and other data-discovery methods. In addition, we show that for MNIST and Fashion MNIST, our approach lowers the parameter cost as compared to other deep neural networks.

연구 동기 및 목표

• 시간 시리즈 및 시공간 데이터에서 주어진 ODE/PDE 모델을 데이터 기반으로 추출하면서도 내재된 미분 구조를 유지하는 방법을 개발한다.
• 이미지 분류 작업에서 딥 러닝 모델의 파라미터 수를 줄이기 위해 네트워크 아키텍처에 연속적인 미분 구조를 통합한다.
• 단순한 다항식 사전과 유한차분 커널을 통해 물리적 상관관계를 통합함으로써 감소된 순서 모델의 공간 정확도와 일반화 성능을 향상시킨다.
• 기존 RNN과 표준 DNN의 대안이 되며, 기반 동역학계의 연속적이고 부드러운 특성을 더 잘 반영한다.
• 신경망과 미분방정식 프레임워크를 융합한 방법이 과학적 모델링 및 컴퓨터 비전 작업에서 효과적인지 입증한다.

제안 방법

• ODE의 우변을 $ \dot{x} = f(t, x) $로 매개변수화하며, 지정된 차수까지의 다항식 사전을 사용한 얕은 MLP를 통해 변수 간 고차 상관관계를 포착한다.
• PDE 모델링을 위해, 6개의 유한차분 연산자(예: $ \partial_x, \partial_y, \partial_{xx}, \partial_{yy}, \partial_{xy} $)의 학습 가능한 선형 조합을 사용하는 PDE 블록을 활용하여 공간 미분을 근사한다.
• 아키텍처는 잔차 연결, 배치 정규화, ReLU 활성화 함수, 2D 최대 풀링을 통합하며, 최종 레이어는 완전 연결 레이어를 통해 클래스 점수로 매핑된다.
• 모델은 교차 엔트로피 손실과 함께 확률적 경사 하강법으로 훈련되며, 상태의 시간 전파를 위해 수치적 적분기(예: 전진 오일러 또는 고차 수준 방법)를 사용한다.
• 표준 컨볼루션을 통해 암묵적으로 학습하는 것과는 달리, 미분 연산자를 직접 네트워크의 커널 구조에 통합함으로써 물리적 일관성을 강제한다.
• 다항식과 미분 연산자를 통한 구조적 특징 공학을 통해 MLP의 너비를 줄임으로써 파라미터 효율적인 모델링이 가능하다.

실험 결과

연구 질문

• RQ1 신경망 기반의 ODE/PDE 프레임워크는 시간 시리즈 및 시공간 데이터에서 주어진 방정식을 효과적으로 추출하면서도 연속적인 역학을 유지할 수 있는가?
• RQ2 고차 다항식 항과 유한차분 연산자를 통합할 경우, 표준 MLP나 RNN에 비해 모델링 정확도는 어떻게 향상되는가?
• RQ3 이 방법은 이미지 분류 작업에서 정확도를 훼손하지 않으면서 딥 러닝 모델의 파라미터 수를 얼마나 줄일 수 있는가?
• RQ4 NeuPDE 아키텍처는 MNIST와 Fashion MNIST에서 ResNet과 ODENet에 비해 파라미터 효율성과 예측 성능 측면에서 어떻게 비교되는가?
• RQ5 구조화된 미분 레이어는 감소된 순서의 동역학계 모델에서 일반화 성능과 공간 정확도를 향상시키는 데 기여하는가?

주요 결과

• MNIST 데이터셋에서 NeuPDE는 오직 0.18만 개의 파라미터로 테스트 오차 0.51%를 기록했으며, 표준 MLP(1.6% 오차, 0.24M 파라미터)를 뛰어나고, ODENet(0.51% 오차, 0.22M 파라미터)와 동일한 정확도를 달성하면서도 더 적은 파라미터를 사용했다.
• Fashion MNIST 데이터셋에서 NeuPDE는 0.38만 개의 파라미터로 테스트 오차 7.6%를 기록했으며, ResNet18(278만 파라미터)에 비해 훨씬 적은 파라미터를 사용했고, 단순 MLP(11.67% 오차, 0.248M 파라미터)와 유사한 성능을 보였다.
• ResNet18 대비 최대 85%의 파라미터 감소를 이룩하면서도 경쟁 가능한 정확도를 유지함으로써, 이미지 분류에서 뛰어난 파라미터 효율성을 입증했다.
• 다항식 사전과 유한차분 연산자를 사용함으로써 고차 상관관계를 더 잘 포착하고 PDE 모델링에서 공간 정확도를 향상시켰다.
• 복잡한 시공간 역학을 포함한 다양한 동역학계에서도 높은 예측 성능을 유지했으며, 시간 정규성을 유지하는 데서 RNN을 능가했다.
• 물리적 해석 가능성과 과적합 감소를 고려할 때 과학적 모델링 분야에서 유망한 성과를 보였다.