[논문 리뷰] Adaptive learning of effective dynamics: Adaptive real-time, online modeling for complex systems

Ivica Kičić, Pantelis R. Vlachas외 4명|arXiv (Cornell University)|2023. 04. 04.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

AdaLED는 복잡한 다스케일 시뮬레이션의 계산 속도를 향상시키기 위해 고정밀 수치 해석기와 학습된 대체 모델 사이를 동적으로 전환하는 새로운 적응형 온라인 학습 프레임워크이다. 차원 축소를 위해 오토에인코더를 사용하고, 잠재 공간에서의 시간 진전을 위해 확률적 RNN의 앙상블을 활용하며, 온라인 학습을 통해 새로운 동역학에 지속적으로 적응하면서 정확도를 유지하고 레이놀즈 수가 다양한 나비에-스토크스 유동에서 최대 2.9배의 순속도 향상을 달성한다.

ABSTRACT

Predictive simulations are essential for applications ranging from weather forecasting to material design. The veracity of these simulations hinges on their capacity to capture the effective system dynamics. Massively parallel simulations predict the systems dynamics by resolving all spatiotemporal scales, often at a cost that prevents experimentation. On the other hand, reduced order models are fast but often limited by the linearization of the system dynamics and the adopted heuristic closures. We propose a novel systematic framework that bridges large scale simulations and reduced order models to extract and forecast adaptively the effective dynamics (AdaLED) of multiscale systems. AdaLED employs an autoencoder to identify reduced-order representations of the system dynamics and an ensemble of probabilistic recurrent neural networks (RNNs) as the latent time-stepper. The framework alternates between the computational solver and the surrogate, accelerating learned dynamics while leaving yet-to-be-learned dynamics regimes to the original solver. AdaLED continuously adapts the surrogate to the new dynamics through online training. The transitions between the surrogate and the computational solver are determined by monitoring the prediction accuracy and uncertainty of the surrogate. The effectiveness of AdaLED is demonstrated on three different systems - a Van der Pol oscillator, a 2D reaction-diffusion equation, and a 2D Navier-Stokes flow past a cylinder for varying Reynolds numbers (400 up to 1200), showcasing its ability to learn effective dynamics online, detect unseen dynamics regimes, and provide net speed-ups. To the best of our knowledge, AdaLED is the first framework that couples a surrogate model with a computational solver to achieve online adaptive learning of effective dynamics. It constitutes a potent tool for applications requiring many expensive simulations.

연구 동기 및 목표

• 유동 및 재료 동역학과 같은 복잡한 시스템의 대규모 시뮬레이션에 따른 높은 계산 비용을 해결한다.
• 선형화 또는 히우리스틱 폐쇄에 의존하는 전통적인 축소 순서 모델의 한계를 극복한다.
• 시뮬레이션 중에 새로운 동역학 영역에 대해 지속적이고 온라인으로 대체 모델을 적응시킬 수 있는 프레임워크를 개발한다.
• 예측 정확도를 유지하면서도 다스케일 시스템에서 상당한 계산 속도 향상을 달성한다.
• 복잡한 시스템 모델링을 위한 고정밀 해석기와 데이터 기반 대체 모델 간의 실시간 적응형 결합을 가능하게 한다.

제안 방법

• 고차원 데이터로부터 시스템 상태의 저차원 효과적 표현을 학습하기 위해 컨volutional 오토에인코더를 활용한다.
• 감소된 공간에서의 시스템 동역학을 전파하기 위해 확률적 순환 신경망(RNN)의 앙상블을 잠재 시간 스텝퍼로 사용한다.
• 실시간 예측 불확도 및 정확도 모니터링 기반으로 고정밀 수치 해석기와 대체 모델 사이를 동적으로 전환한다.
• 새로 생성된 수치 해석기 데이터를 사용해 대체 모델을 지속적으로 온라인 재학습함으로써 새로운 동역학 영역에 적응한다.
• 예측 오차 및 불확도 추정치를 기반으로 해석기와 대체 모델 간의 전환 기준을 정의하여 속도와 정확도의 균형을 이룬다.
• 마이크로 스케일(해석기)과 마크로 스케일(대체 모델) 전파를 번갈아가며 수행하는 하이브리드 시뮬레이션 루프 내에 프레임워크를 통합한다.

실험 결과

연구 질문

• RQ1 복잡한 다스케일 시스템의 변화하는 동역학을 포괄하기 위해 시뮬레이션 중에 대체 모델을 온라인으로 학습하고 적응시킬 수 있는가?
• RQ2 실시간으로 계산 속도 향상과 예측 정확도 사이의 트레이드오프를 효과적으로 관리할 수 있는가?
• RQ3 한 번의 적응형 대체 모델이 재기억 잃음(catastrophic forgetting) 없이 극명하게 다른 동역학 영역에 일반화할 수 있는가?
• RQ4 시뮬레이션 중에 고정밀 해석기와 학습된 대체 모델 간의 신뢰성 있는 동적 전환을 가능하게 하는 기준은 무엇인가?
• RQ5 온라인 학습이 유동역학 및 기타 복잡한 시스템에서 축소 순서 모델링의 강건성과 효율성을 얼마나 향상시킬 수 있는가?

주요 결과

• 2D 나비에-스토크스 유동에서 실린더 뒤의 레이놀즈 수가 400에서 1200으로 변동하는 3일간의 시뮬레이션에서 AdaLED는 순속도 향상 2.9배를 달성했다.
• 속도장에 대해 평균 제곱 오차는 약 1%로 유지되었고, 실린더에 작용하는 힘에 대해서는 루트 평균 제곱 오차가 약 5%였으며, 상관계수는 0.99였다.
• 재학습이나 재초기화 없이도 이전에 본 적 없는 동역학 영역을 성공적으로 학습하고 적응했다.
• 대체 모델은 분포 이격에 대해 강건성을 보였고, 온라인 적응 중에 재기억 잃음을 피했다.
• 온라인 학습 메커니즘 덕분에 해석기로부터 생성된 새로운 데이터가 통합될수록 대체 모델의 성능이 지속적으로 향상되었다.
• 예측 불확도 및 오차에 대한 임계값을 조정함으로써 속도 향상과 정확도 사이의 조절 가능한 균형을 제공한다.