[논문 리뷰] Solving differential equations with unknown constitutive relations as recurrent neural networks

Tobias Hagge, Panos Stinis외 2명|arXiv (Cornell University)|2017. 10. 06.

Model Reduction and Neural Networks참고 문헌 5인용 수 15

한 줄 요약

이 논문은 부분적이고 시간에 따라 변화하는 데이터로부터 미분방정식(OED)의 알려지지 않은 구성 관계를 학습하기 위해 이산화된 ODE 동역학을 RNN 학습 과정에 직접 통합하는 새로운 순환 신경망(RNN) 기반 프레임워크를 제안한다. 이 방법은 민감도 방정식을 해결할 필요가 없으며, 수천 개의 시간 단계에 걸쳐 학습이 가능하며, 높은 정확도와 안정성으로 피드백 배양기 모델의 반응 동역학을 성공적으로 재구성한다.

ABSTRACT

We solve a system of ordinary differential equations with an unknown functional form of a sink (reaction rate) term. We assume that the measurements (time series) of state variables are partially available, and we use recurrent neural network to "learn" the reaction rate from this data. This is achieved by including a discretized ordinary differential equations as part of a recurrent neural network training problem. We extend TensorFlow's recurrent neural network architecture to create a simple but scalable and effective solver for the unknown functions, and apply it to a fedbatch bioreactor simulation problem. Use of techniques from recent deep learning literature enables training of functions with behavior manifesting over thousands of time steps. Our networks are structurally similar to recurrent neural networks, but differences in design and function require modifications to the conventional wisdom about training such networks.

연구 동기 및 목표

• 상태 변수의 부분적 시간 시리즈 측정치만 제공될 때 미분방정식(OED) 내에서 알려지지 않은 함수 형태를 학습하는 데 도전한다.
• 역전파 과정 중 민감도 ODE를 해결해야 하는 전통적 방법의 한계를 극복한다.
• 스케일러블한 딥러닝 기법을 사용하여 알려지지 않은 함수에서 복잡하고 장기적인 동역학적 행동을 학습할 수 있도록 한다.
• ODE 이산화를 RNN 아키텍처에 직접 통합하여 안정성과 해석 가능성을 향상시킬 수 있는 프레임워크를 개발한다.
• 간헐적 또는 누락된 데이터가 있는 실제 산업용 피드백 배양기 시뮬레이션에서 방법의 효과성을 입증한다.

제안 방법

• 지배적인 ODE의 이산화된 형태를 순환 신경망 아키텍처 내의 미분 가능 레이어로 통합한다.
• TensorFlow의 RNN 프레임워크를 확장하여 ODE 동역학을 계산 그래프의 일부로 포함시켜 엔드 투 엔드 역전파를 가능하게 한다.
• 장기적인 시간 시리즈 데이터—부분적으로 관측되거나 간헐적으로 샘플링된 데이터—를 사용하여 알려지지 않은 반응 속도 함수의 학습 신호로 활용한다.
• 표준 RNN 메모리 메커니즘이 없는 상황에서도, 현대적인 딥러닝 기법(예: 정규화, 초기화 전략)을 적용하여 학습 불안정성을 완화한다.
• 각 시간 단계에서 ODE 시스템의 동역학적 제약 조건을 유지하도록 네트워크를 구성하여 물리적 일관성을 강제한다.
• 장기적인 시간 간격에 걸친 예측 오차 기반 손실 함수를 사용하여 학습을 진행하며, 시스템의 동역학적 오차에 대한 민감도를 활용한다.

실험 결과

연구 질문

• RQ1 민감도 방정식을 해결하지 않고도, 알려지지 않은 ODE 구성 함수를 학습하기 위해 순환 신경망 아키텍처를 효과적으로 적응시킬 수 있는가?
• RQ2 수백 또는 수천 개의 시간 단계에 걸친 장기적인 동역학적 행동은 ODE 내에서 알려지지 않은 함수를 학습하는 데 어느 정도 활용될 수 있는가?
• RQ3 ODE 이산화를 RNN 구조에 직접 통합하는 것은 기존 RNN과 비교해 학습 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ4 핵심 상태 변수가 측정되지 않거나 데이터가 시간 간격이 있는 경우에도, 이 방법은 알려지지 않은 반응 동역학을 정확하게 재구성할 수 있는가?
• RQ5 특히 ODE 시스템이 초기 조건에 민감할 경우, 잘 동작하는 동역학을 보장하기 위해 가장 효과적인 초기화 및 아키텍처 선택은 무엇인가?

주요 결과

• 제안된 방법은 부분적인 시간 시리즈 데이터만을 사용하여 피드백 배양기 모델의 알려지지 않은 반응 속도 함수를 성공적으로 학습하여 높은 재구성 정확도를 달성한다.
• 역전파 과정 중 민감도 ODE를 해결할 필요가 없어져 계산 오버헤드와 복잡성이 크게 감소한다.
• 데이터 간헐성과 상태 변수 누락에 대해 강건성을 보이며, 핵심 관측치가 측정되지 않은 경우에도 학습이 가능하다.
• 수천 개의 시간 단계에 걸쳐 안정적인 학습이 가능하며, 장기적인 동역학 일관성을 감독 신호로 활용한다.
• 아키텍처가 RNN와 유사한 구조를 가지므로 딥러닝 기법을 활용할 수 있지만, 동역학적 제약 조건으로 인해 표준 RNN보다 더 독창적이고 물리적으로 타당한 해답을 도출한다.
• 초기화가 중요한 요소로 남아 있으며, 부적절한 선택은 물리적으로 타당하지 않은 행동으로 인해 초기 조건에 민감하게 초과 증식(초기 폭발)을 유도할 수 있으므로 신중한 설계가 필요함을 시사한다.