[논문 리뷰] LQResNet: A Deep Neural Network Architecture for Learning Dynamic Processes

Pawan Goyal, Peter Benner|arXiv (Cornell University)|2021. 03. 03.

Model Reduction and Neural Networks참고 문헌 47인용 수 5

한 줄 요약

이 논문은 잔차 연결을 갖춘 선형-이차(LQ) 비선형성으로 구성된 물리적 지식을 통합한 딥 뉴럴 네트워크 아키텍처인 LQResNet을 제안한다. 이는 시간에 따라 변화하는 동역학적 과정을 데이터로부터 학습하면서도 사전 물리 지식을 통합함으로써, 신경 회로 동역학과 당해리 작동기 같은 복잡한 동역학계를 정확하게 모델링한다. 상태 변수만을 사용하여 잔차 맵핑을 학습함으로써, 제한된 데이터로도 예측할 수 없는 초기 조건에 대해 강력한 일반화 성능을 보인다.

ABSTRACT

Mathematical modeling is an essential step, for example, to analyze the transient behavior of a dynamical process and to perform engineering studies such as optimization and control. With the help of first-principles and expert knowledge, a dynamic model can be built, but for complex dynamic processes, appearing, e.g., in biology, chemical plants, neuroscience, financial markets, this often remains an onerous task. Hence, data-driven modeling of the dynamics process becomes an attractive choice and is supported by the rapid advancement in sensor and measurement technology. A data-driven approach, namely operator inference framework, models a dynamic process, where a particular structure of the nonlinear term is assumed. In this work, we suggest combining the operator inference with certain deep neural network approaches to infer the unknown nonlinear dynamics of the system. The approach uses recent advancements in deep learning and possible prior knowledge of the process if possible. We also briefly discuss several extensions and advantages of the proposed methodology. We demonstrate that the proposed methodology accomplishes the desired tasks for dynamics processes encountered in neural dynamics and the glycolytic oscillator.

연구 동기 및 목표

• 시간 시리즈 데이터로부터 복잡한 비선형 동역학계를 효과적으로 학습할 수 있는 딥 러닝 아키텍처를 개발하는 것.
• 특히 선형 및 이차 상관관계와 같은 사전 물리 지식을 신경망 설계에 통합하여 데이터 효율성과 모델의 해석 가능성 향상을 도모하는 것.
• 기계적 모델이 알려져 있거나 불완전한 고차원 비선형 동역학계를 모델링하는 데 도전하는 것.
• 물리적 구조적 제약 조건을 네트워크 아키텍처에 통합하여, 데이터가 부족한 상황에서 과적합을 줄이고 일반화 성능을 향상시키는 것.
• 실제 생물학적 및 생화학적 시스템, 특히 복잡하고 혼돈적인 동역학을 보이는 시스템에 대해 본 방법의 효과성을 입증하는 것.

제안 방법

• LQResNet 아키텍처는 각 블록이 선형 변환과 비선형 활성화를 거치며, 비선형 성분이 상태 변수의 선형 및 이차 항의 조합으로 명시적으로 모델링된 잔차 블록을 사용한다.
• 네트워크는 상태 벡터의 시간 도함수를 예측하도록 훈련되어, 시간 시리즈 데이터로부터 연속 시간 동역학계를 모델링할 수 있다.
• 동역학이 선형 및 이차 형태로 잘 근사되는 성분들(예: 당해리 작동기에서 S3, S4, S5, S7)은 고정된 LQ 구조를 사용하고, 나머지 성분들(S1, S2, S6)은 학습 가능한 가중치를 통해 비선형 맵핑을 학습한다.
• 이 방법은 연산자 추론 원리를 활용하여 물리적 제약 조건을 네트워크 아키텍처에 통합함으로써 파라미터 수를 줄이고 샘플 효율성을 향상시킨다.
• 아키텍처는 다양한 초기 조건에서 수집된 시뮬레이션 데이터를 사용하여 훈련되어, 강건성과 일반화 능력을 확보한다.
• 지식 기반의 상호 연결 관계를 고려해, 예를 들어 dS1/dt를 예측하기 위해 S1과 S6만을 입력으로 선택적으로 사용함으로써 효율성을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 선형 및 이차 상관관계와 같은 알려진 물리적 구조를 통합하면서도 비선형 동역학계를 학습할 수 있는 딥 뉴럴 네트워크 아키텍처를 설계할 수 있는가?
• RQ2 제한된 노이즈가 있는 데이터로 훈련된 모델이 새로운 초기 조건에 대해 얼마나 잘 일반화되는가?
• RQ3 순수한 블랙박스 딥 러닝에 비해 물리 지식을 네트워크 아키텍처에 통합함으로써 데이터 효율성 향상과 과적합 감소에 얼마나 기여하는가?
• RQ4 기본 방정식을 알지 못하는 상태에서도, 신경망이 복잡하고 혼돈적인 동역학(예: 신경 및 생화학계)을 정확하게 재구성할 수 있는가?
• RQ5 정확도, 해석 가능성, 데이터 요구량 측면에서 LQResNet의 성능이 표준 딥 러닝 또는 기호적 회귀 방법에 비해 어떻게 뛰어나게 되는가?

주요 결과

• LQResNet 모델은 복잡한 비LQ 행동을 보이는 상태 변수들까지 포함하여, 모든 상태 변수에서 당해리 작동기의 동역학을 높은 정확도로 재현하며, 예측할 수 없는 초기 조건에서도 정확하게 작동한다.
• 훈련에 사용되지 않은 초기 조건에 대해서도 효과적으로 일반화되며, 그림 3에서 진짜 궤적과 예측 궤적이 밀도 있게 일치함을 보여준다.
• 물리 기반 LQ 구조의 사용은 특히 데이터가 적은 영역에서 데이터 효율성 향상과 과적합 감소에 크게 기여한다.
• 모델은 30개의 초기 조건과 각 궤적당 4,000개의 시간 포인트만으로도 전체 시스템의 동역학을 정확하게 재구성할 수 있어 강력한 샘플 효율성을 보였다.
• 기본 시스템이 혼돈적인 행동을 보일 경우에도 이 방법은 잘 일반화되어 있어, 비선형성과 고차원 동역학에 대한 강건성을 시사한다.
• 물리적 제약 조건을 통합함으로써 순수한 블랙박스 딥 러닝에 비해 더 나은 해석 가능성과 더 적은 파라미터 수를 확보함으로써 성능이 뛰어나다.