[논문 리뷰] Learning the Effective Dynamics of Complex Multiscale Systems.

Pantelis R. Vlachas, Georgios Arampatzis외 2명|arXiv (Cornell University)|2020. 06. 24.

Model Reduction and Neural Networks참고 문헌 36인용 수 8

한 줄 요약

이 논문은 복잡한 다스케일 시스템의 거시적 역학을 추출하고 예측하기 위해 오토에인코더와 순환 신경망을 조합한 체계적인 기계학습 프레임워크인 학습된 효과적 역학(Learning Effective Dynamics, LED)을 소개한다. 미세 구조 데이터를 저차원 잠재 공간으로 매핑하고 그 시간에 따른 진화를 학습함으로써, LED는 전체 스케일 시뮬레이션에 비해 수개의 주기 감소된 계산 비용으로 정확한 장기 예측을 달성한다.

ABSTRACT

Simulations of complex multiscale systems are essential for science and technology ranging from weather forecasting to aircraft design. The predictive capabilities of simulations hinges on their capacity to capture the governing system dynamics. Large scale simulations, resolving all spatiotemporal scales, provide invaluable insight at a high computational cost. In turn, simulations using reduced order models are affordable but their veracity hinges often on linearisation and/or heuristics. Here we present a novel systematic framework to extract and forecast accurately the effective dynamics (LED) of complex systems with multiple spatio-temporal scales. The framework fuses advanced machine learning algorithms with equation-free approaches. It deploys autoencoders to obtain a mapping between fine and coarse grained representations of the system and learns to forecast the latent space dynamics using recurrent neural networks. We compare the LED framework with existing approaches on a number of benchmark problems and demonstrate reduction in computational efforts by several orders of magnitude without sacrificing the accuracy of the system.

연구 동기 및 목표

• 전체 해상도 시뮬레이션의 계산 비용이 지나치게 높아져 실현 불가능한 복잡한 다스케일 시스템을 시뮬레이션하는 데 도전하는 것.
• 선형화나 히우리스틱에 의존하는 감소 차수 모델의 한계를 극복하는 것.
• 다스케일 시스템의 효과적 역학을 추출하고 예측하기 위한 체계적이고 데이터 기반의 프레임워크를 개발하는 것.
• 최소한의 계산 자원으로 복잡한 시스템의 정확한 장기 예측을 가능하게 하는 것.
• 고정밀도 시뮬레이션과 저비용이며 신뢰할 수 있는 감소 차수 모델링 사이의 격차를 메우는 것.

제안 방법

• 미세 구조 시스템 상태에서 저차원 잠재 공간 표현으로의 비선형 매핑을 학습하기 위해 오토에인코더를 사용하는 것.
• 잠재 공간 역학의 시간 진화를 학습하고 예측하기 위해 순환 신경망(RNN)을 사용하는 것.
• 오토에인코더와 RNN 구성 요소를 통합하여 효과적 역학의 엔드 투 엔드 학습을 위한 통합 프레임워크를 구축하는 것.
• 명시적인 거시 스케일 방정식 유도 없이도 시뮬레이션 기반 추론을 가능하게 하기 위해 방정식 기반 접근법을 적용하는 것.
• 정확도와 일반화 능력을 보장하기 위해 고정밀도 시뮬레이션에서 생성된 데이터로 프레임워크를 훈련하는 것.
• 예측 정확도와 계산 효율성을 평가하기 위해 벤치마크 다스케일 문제에 프레임워크를 검증하는 것.

실험 결과

연구 질문

• RQ1 선형화나 히우리스틱에 의존하지 않고도 데이터 기반 프레임워크가 복잡한 다스케일 시스템의 효과적 역학을 정확히 추출할 수 있는가?
• RQ2 오토에인코더와 RNN의 조합이 다스케일 시뮬레이션에서 계산 비용을 줄이면서도 예측 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 기존 감소 차수 모델링 기법과 비교할 때 LED 프레임워크는 다양한 벤치마크 다스케일 문제에 대해 얼마나 잘 일반화되는가?
• RQ4 오토에인코더가 학습한 잠재 공간이 고차원 다스케일 시스템의 본질적인 역학적 특징을 포괄할 수 있는가?
• RQ5 다양한 시스템 복잡도와 노이즈 수준에서 LED 프레임워크의 확장성과 강건성은 어떠한가?

주요 결과

• LED 프레임워크는 훨씬 감소된 계산 자원을 사용하여 복잡한 다스케일 시스템의 정확한 장기 예측을 달성한다.
• 전체 스케일 시뮬레이션에 비해 계산 노력이 수개의 주기 감소되었지만 높은 예측 정확도를 유지한다.
• 오토에인코더의 사용은 효과적인 비선형 차원 축소를 가능하게 하여 핵심 시스템 역학을 저차원 잠재 공간에 포착한다.
• 순환 신경망은 높은 정밀도로 잠재 역학의 시간 진화를 성공적으로 학습하고 전파한다.
• 선형화나 히우리스틱 가정에 의존하는 기존 감소 차수 모델링 접근법보다 프레임워크가 뛰어난 성능을 보인다.
• 기계학습과 방정식 기반 방법의 통합은 복잡한 시스템에서 효과적 역학의 강력하고 체계적인 발견을 가능하게 한다.