[논문 리뷰] Deep convolutional recurrent autoencoders for learning low-dimensional feature dynamics of fluid systems

Francisco Javier González, Maciej Balajewicz|arXiv (Cornell University)|2018. 08. 03.

Model Reduction and Neural Networks참고 문헌 8인용 수 79

한 줄 요약

데이터 기반의 엔드투엔드 딥 러닝 프레임워크가 깊은 합성곱 오토인코더와 수정된 LSTM을 결합하여 고차원 유체 시스템의 저차원 특징 표현을 학습하고 진화시키되 지배 연산자에 의존하지 않는다.

ABSTRACT

Model reduction of high-dimensional dynamical systems alleviates computational burdens faced in various tasks from design optimization to model predictive control. One popular model reduction approach is based on projecting the governing equations onto a subspace spanned by basis functions obtained from the compression of a dataset of solution snapshots. However, this method is intrusive since the projection requires access to the system operators. Further, some systems may require special treatment of nonlinearities to ensure computational efficiency or additional modeling to preserve stability. In this work we propose a deep learning-based strategy for nonlinear model reduction that is inspired by projection-based model reduction where the idea is to identify some optimal low-dimensional representation and evolve it in time. Our approach constructs a modular model consisting of a deep convolutional autoencoder and a modified LSTM network. The deep convolutional autoencoder returns a low-dimensional representation in terms of coordinates on some expressive nonlinear data-supporting manifold. The dynamics on this manifold are then modeled by the modified LSTM network in a computationally efficient manner. An offline unsupervised training strategy that exploits the model modularity is also developed. We demonstrate our model on three illustrative examples each highlighting the model's performance in prediction tasks for fluid systems with large parameter-variations and its stability in long-term prediction.

연구 동기 및 목표

• 합성곱 오토인코더를 사용하여 고차원 유체 시스템 상태에 대한 최적의 저차원 매니폴드를 식별한다.
• 학습된 저차원 특징의 시계열 진화를 순환 신경망으로 모델링한다.
• 효율적인 학습을 위한 모델 모듈화를 활용하는 오프라인 무감독 학습 전략을 제공한다.
• 대규모 매개변수 변동이 있는 유체역학 문제에서 안정성과 예측 가능성을 입증한다.

제안 방법

• 전체 상태 스냅샷으로부터 비선형 데이터 서포팅 매니폴드상의 좌표를 학습하기 위해 깊은 합성곱 오토인코더를 사용한다.
• 학습된 매니폴드에서 저차원 특징의 동역학을 모델링하기 위해 수정된 LSTM 네트워크를 사용한다.
• 오프라인 무감독 방식으로 엔드투엔드로 오토인코더와 시간적 동역학 모델을 학습한다.
• 합성곱 구조를 활용하여 국부 상관관계를 포착하고 완전 연결 인코더에 비해 매개변수를 감소시킨다.
• 현재 축약 상태를 사용해 점진적으로 LSTM을 학습하는 두 단계 학습 전략을 활용한다.

실험 결과

연구 질문

• RQ1 지배 연산자에 접근하지 않고도 합성곱 오토인코더가 고차원 유체 상태에 대해 표현력 있는 저차원 매니폴드를 식별할 수 있는가?
• RQ2 매개변수가 변하는 유체 문제에서 수정된 LSTM이 학습된 저차원 특징을 시간에 따라 정확하게 진화시킬 수 있는가?
• RQ3 제안된 모듈식 엔드투엔드 아키텍처가 전통적인 ROM 접근법에 비해 안정성과 장기 예측을 개선하는가?
• RQ4 이 방법은 유체 역학 응용에서 큰 매개변수 변화를 어떻게 처리하는가?

주요 결과

• 합성곱 오토인코더와 LSTM을 결합하여 축소 좌표를 학습하고 진화시키는 데이터 기반의 비선형 모델 축소를 제공한다.
• 합성곱 구조는 국지 상관관계와 가중치 공유를 활용하여 고차원 유체 데이터를 확장 가능하게 처리한다.
• 두 단계 무감독 학습 전략과 엔드투엔드 학습은 모듈화를 활용하여 축소 표현과 그 동역학을 학습한다.
• 세 가지 유체역학 예제에 대한 시연은 장기 예측 및 큰 매개변수 변동하에서의 효과적 예측과 안정성을 보여준다.
• 이 접근법은 비침습적이며 데이터만 필요하고 지배 연산자에 대한 접근은 필요하지 않다.