[논문 리뷰] Interpretable learning of effective dynamics for multiscale systems

Emmanuel Menier, Sebastian Kaltenbach외 3명|arXiv (Cornell University)|2023. 09. 11.

Model Reduction and Neural NetworksPhysics and Astronomy인용 수 3

한 줄 요약

이 논문은 다스케일 시스템에서 효과적인 동역학을 학습하기 위한 새로운 해석 가능한 프레임워크인 iLED를 제안한다. 이는 모리-즈반직 이론과 쿠퍼만 연산자 이론을 신경망 기반 차원 축소와 융합하여 개발되었으며, 블랙박스 LSTMs를 물리적으로 기반한 선형 동역학과 비선형 보정 항으로 대체함으로써 세 가지 벤치마크 다스케일 시스템에서 최고 수준의 정확도를 달성하면서도 완전한 해석 가능성을 확보한다.

ABSTRACT

The modeling and simulation of high-dimensional multiscale systems is a critical challenge across all areas of science and engineering. It is broadly believed that even with today's computer advances resolving all spatiotemporal scales described by the governing equations remains a remote target. This realization has prompted intense efforts to develop model order reduction techniques. In recent years, techniques based on deep recurrent neural networks have produced promising results for the modeling and simulation of complex spatiotemporal systems and offer large flexibility in model development as they can incorporate experimental and computational data. However, neural networks lack interpretability, which limits their utility and generalizability across complex systems. Here we propose a novel framework of Interpretable Learning Effective Dynamics (iLED) that offers comparable accuracy to state-of-the-art recurrent neural network-based approaches while providing the added benefit of interpretability. The iLED framework is motivated by Mori-Zwanzig and Koopman operator theory, which justifies the choice of the specific architecture. We demonstrate the effectiveness of the proposed framework in simulations of three benchmark multiscale systems. Our results show that the iLED framework can generate accurate predictions and obtain interpretable dynamics, making it a promising approach for solving high-dimensional multiscale systems.

연구 동기 및 목표

• 모든 시간-공간 척도를 해결하는 데 계산적으로 비가능한 고차원 다스케일 시스템의 시뮬레이션이라는 핵심 과제 해결.
• LSTM를 사용하는 최신 딥러닝 기반 모델 순서 감소 방법에서의 해석 불가능성 문제 해결.
• 이론적으로 탄탄한 역학 모델을 통해 예측 정확도를 유지하면서도 물리적으로 해석 가능한 동역학 제공하는 프레임워크 개발.
• 학습된 동역학에 물리 원리를 통합함으로써 복잡한 시스템 시뮬레이션의 일반화 가능성과 신뢰성 향상.
• 쿠라모토-시바시크스 방정식과 다양한 레이놀즈 수에서의 원판 뒤 유동을 포함한 다양한 다스케일 시스템에서 프레임워크의 유효성 입증.

제안 방법

• 고차원 시스템의 주요 동역학을 포괄하는 저차원 비선형 다양체를 식별하기 위해 신경 자동에코더를 활용.
• 기존의 학습된 효과적 동역학(LED) 프레임워크에서 표준 LSTM을 쿠퍼만 연산자와 모리-즈반직 형식론에 기반한 물리적으로 기반한 동역학 모델로 대체.
• 에너지 보존 및 안정성 보장을 위해 대칭 행렬의 비대칭 부분과 대각선 감쇠 항(𝐴𝜃 = 𝑊 − 𝑊ᵀ − diag(𝑤), 𝑤 ∈ ℝ₊ᵈₕ)을 포함한 선형 성분을 사용해 잠재 동역학을 모델링.
• 비선형 보정 항을 딥 네트워크(Ψ₂)를 통해 비해상적 척도 간 상호작용을 보완함으로써 선형 동역학을 초월한 정확도 향상.
• 학습 안정성 향상과 일반화 성능 향상을 위해 자동에코더 및 동역학 네트워크에서 SiLU 활성화 함수와 배치 정규화 사용.
• 특정 손실 항(ℒ_centering)을 통해 잠재 공간의 중심화를 강제하여, 특히 낮은 배치 크기 설정에서의 안정성과 해석 가능성 유지.

실험 결과

연구 질문

• RQ1 딥러닝 기반 모델 순서 감소 프레임워크는 블랙박스 LSTMs와 동등한 정확도를 달성하면서도 완전한 해석 가능성을 제공할 수 있는가?
• RQ2 모리-즈반직 이론과 쿠퍼만 연산자 이론을 얼마나 잘 활용하여 다스케일 시스템에 대해 이론적으로 탄탄한 해석 가능한 동역학 모델을 구성할 수 있는가?
• RQ3 물리적으로 기반한 비선형 보정 항의 포함이 순수 선형 잠재 동역학에 비해 예측 정확도를 얼마나 향상시키는가?
• RQ4 iLED 프레임워크는 다양한 복잡성과 척도 분리 정도를 가진 다양한 다스케일 시스템에서 높은 정확도와 해석 가능성을 유지할 수 있는가?
• RQ5 잠재 공간 중심화와 아키텍처 선택의 영향은 학습된 동역학의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• iLED 프레임워크는 쿠라모토-시바시크스(KS) 방정식에서 최신 기술 수준의 예측 정확도를 확보하며, LSTM 기반 LED 모델과 동등하거나 이를 초월한다.
• Re=100 및 Re=750에서 원판 뒤 유동에 대해 iLED는 각각 𝑑ₕ=3 및 𝑑ₕ=16의 잠재 차원을 사용하여 복잡한 시공간 동역학을 정확히 포착한다.
• 대칭 행렬에 대각선 감쇠 항(𝐴𝜃)을 포함한 구조는 잠재 동역학의 안정적이고 에너지 보존적인 진화를 보장하여 장기 예측 정확도를 확보한다.
• 비선형 보정 항(Ψ₂)의 포함은 강한 비선형성을 가지는 시스템에서 순수 선형 동역학에 비해 모델 정확도를 크게 향상시킨다.
• ℒ_centering 손실 항은 중심화된 잠재 공간을 효과적으로 유지하여 선형 동역학 성분의 안정성과 해석 가능성에 핵심적인 영향을 미친다.
• 프레임워크는 선형 진화 및 보정 항을 명시적으로 모델링함으로써 학습된 시스템 행동의 직접적인 물리적 해석 가능성을 제공한다.