[논문 리뷰] Data-driven learning of non-autonomous systems

Tong Qin, Zhe Chen외 2명|arXiv (Cornell University)|2020. 06. 02.

Model Reduction and Neural Networks참고 문헌 28인용 수 5

한 줄 요약

이 논문은 시간에 따라 변화하는 입력을 갖는 비자율 동역학계를 데이터 기반으로 학습하기 위한 프레임워크를 제안한다. 시스템을 조각별 시간 간격으로 분해하고, 국소적으로 입력을 파arameter화(예: 다항식을 통한)한 후, 국소적 파arametric 모델에 대해 딥 네ural 네트워크(DNN)를 훈련시킨다. 훈련된 DNN를 통해 다양한 입력에 대해 반복적이고 장기적인 시스템 예측이 가능하며, 선형/비선형 ODE와 불연속성 있는 소스 항을 갖는 PDE에 대해서도 높은 정확도를 보이며, 훈련 데이터를 초월한 상황에서도 성능을 유지한다.

ABSTRACT

We present a numerical framework for recovering unknown non-autonomous dynamical systems with time-dependent inputs. To circumvent the difficulty presented by the non-autonomous nature of the system, our method transforms the solution state into piecewise integration of the system over a discrete set of time instances. The time-dependent inputs are then locally parameterized by using a proper model, for example, polynomial regression, in the pieces determined by the time instances. This transforms the original system into a piecewise parametric system that is locally time invariant. We then design a deep neural network structure to learn the local models. Once the network model is constructed, it can be iteratively used over time to conduct global system prediction. We provide theoretical analysis of our algorithm and present a number of numerical examples to demonstrate the effectiveness of the method.

연구 동기 및 목표

• 대부분의 기존 데이터 기반 방법에서 요구하는 시간 불변성 조건을 깨는 시간에 따라 변화하는 입력을 갖는 비자율 시스템을 학습하는 데 도전하는 것.
• 실제 데이터에서 노이즈에 민감한 시간 도함수에 의존하지 않는 방법을 개발하는 것.
• 단일 훈련된 DNN 모델을 통해 새로운 초기 조건과 외부 입력에 대해 일반적이고 유연한 시스템 예측을 가능하게 하는 것.
• 약간의 정규성 조건 하에 원래 시스템의 근사 품질에 대한 이론적 오차 경계를 제공하는 것.
• 딥 러닝 기반의 시스템 식별 기법을 비자율 시스템, 특히 편미분방정식까지 확장하는 것.

제안 방법

• 비자율 시스템을 이산 시간 간격 동안의 조각별 적분 시퀀스로 변환하여 시간 의존성을 국소화하는 것.
• 각 시간 간격 내에서 시간에 따라 변화하는 입력을 국소적으로 파라미터화(예: 다항 회귀를 통한)하여 국소적으로 시간 불변인 파라미터 기반 시스템을 생성하는 것.
• 자율적 및 파라미터 기반 시스템에 대해 ResNet 기반 학습을 확장한 국소적 파라미터 기반 흐름 맵을 학습하는 딥 네ural 네트워크(DNN) 아키텍처를 설계하는 것.
• 기본 시스템에서 생성된 합성 궤적 데이터를 사용하여 상태와 입력 파라미터화를 입력으로 삼아 DNN를 훈련하는 것.
• 훈련된 DNN를 시간에 걸쳐 반복적으로 사용하여 새로운 초기 조건과 외부 입력에 대해 시스템의 진화를 예측하는 것. 이때 입력이 동일한 국소 기저로 표현될 수 있어야 한다.
• 원래 시스템의 리프시츠 연속성 가정 하에 이론적 근사 오차 경계를 제공하는 것.

실험 결과

연구 질문

• RQ1 상태 데이터의 시간 도함수가 필요 없이도 데이터 기반 방법이 비자율 시스템을 학습할 수 있는가?
• RQ2 시간에 따라 변화하는 입력의 비자율 성격을 시스템 식별 과정에서 효과적으로 다룰 수 있는가?
• RQ3 국소 파라미터 기반 모델에 대해 훈련된 딥 네ural 네트워크가 다양한 입력에 대해 정확한 장기 예측을 가능하게 하는가?
• RQ4 제안된 학습 프레임워크의 이론적 근사 오차 경계는 무엇인가?
• RQ5 이 방법은 시간에 따라 변화하는 소스 항을 갖는 복잡한 시스템, 예를 들어 PDE로까지 확장 가능한가?

주요 결과

• 시간에 따라 변화하는 입력을 갖는 비선형 온도계에서 장기 예측(최대 T=100)이 매우 높은 정확도로 이루어졌으며, 기준 솔루션과 밀도적으로 일치했다.
• 불연속적인 이쑤날 모양의 소스 항을 갖는 PDE에 대해서도 DNN 모델 예측 결과가 시간적 변화와 공간 프로파일 모두에서 기준 솔루션과 뛰어난 일치를 보였다.
• 훈련 데이터에 포함되지 않은 입력에 대해서도 DNN 모델이 시스템 행동을 성공적으로 예측하여 일반화 능력을 입증했다.
• 입력 함수에 불연속성이 존재할 경우(예: 이쑤날 파형)에도 정확도를 유지하여 비연속 입력에 대한 강건성을 보였다.
• 이론적 분석을 통해 원래 시스템의 약간의 리프시츠 연속성 가정 하에 근사 오차가 유계임을 확인했다.
• 이 프레임워크는 선형 및 비선형 ODE와 20차원 PDE 이산화 시스템을 포함한 다양한 시스템에서 효과적이며, 일관된 성능을 보였다.