[논문 리뷰] A data driven reduced order model of fluid flow by Auto-Encoder and self-attention deep learning methods

Rui Fu, Dunhui Xiao외 2명|arXiv (Cornell University)|2021. 09. 05.

Model Reduction and Neural Networks참고 문헌 47인용 수 14

한 줄 요약

이 논문은 비선형 차원 축소를 위한 스택드 오토인코더(SAE)와 시간 동역학 예측을 위한 자기주의(self-attention) 네트워크를 사용하여 데이터 기반 비침습적 저차원 모델(DDROM)을 제안한다. 기존의 고전적 적합직교분해(POD)-기반 저차원 모델보다 더 높은 정확도를 달성하였으며, 전체 차원 모델 대비 100배 이상의 속도 향상을 보였고, 실린더 후류 및 锁-교환 문제와 같은 복잡한 유동에서 더 나은 비선형 표현을 가능하게 한다.

ABSTRACT

This paper presents a new data-driven non-intrusive reduced-order model(NIROM) that outperforms the traditional Proper orthogonal decomposition (POD) based reducedorder model. This is achieved by using Auto-Encoder(AE) and attention-based deep learning methods. The novelty of the present work lies in that it uses Stacked AutoEncoder(SAE) network to project original high-dimensional dynamical systems onto a low dimensional nonlinear subspace and predict the fluid dynamics using an attentionbased deep learning method. A new model reduction neural network architecture for fluid flow problem is presented. The SAE network compresses high-dimensional physical information into several much smaller sized representations in a latent space. These representations are expressed by a number of codes in the middle layer of SAE neural network. Then, those codes at different time levels are trained to construct a set of hyper-surfaces with multi variable response functions using attention-based deep learning methods. The inputs of the attention-based network are previous time levels' codes and the outputs of the network are current time levels' codes. The codes at current time level are then projected back to the original full space by the decoder layers in the SAE network. The capability of this data-driven reduced order model (DDROM) is illustrated numerically by two test cases: flow past a cylinder, and a lock exchange, respectively. The results obtained show that the DDROM performs better in terms of accuracy than the popular model reduction method namely proper orthogonal decomposition. The improvement is assessed by comparison with a high fidelity POD model.

연구 동기 및 목표

• 기존의 고전적 적합직교분해(POD)-기반 저차원 모델(ROM)에서 선형 시험 부분공간의 제약으로 인해 비선형 유동역학에서 정확도와 효율성이 제한되는 문제를 해결하기 위해.
• 기존 방법보다 더 효과적으로 복잡한 비선형 유동 거동을 포착할 수 있는 데이터 기반, 비침습적 저차원 모델링 프레임워크를 개발하기 위해.
• 특히 스택드 오토인코더(SAE)와 자기주의 네트워크를 통합하여 효율적이고 정확한 유동 예측을 위한 통합 아키텍처를 설계하기 위해.
• 기본 유동 문제에서 제안된 DDROM이 POD-ROM에 비해 정확도와 계산 효율성 측면에서 뛰어나다는 것을 입증하기 위해.
• 도시 유동, Flooding, 해양 모델링과 같은 매개변수화 및 대규모 문제로의 향후 확장 가능성을 보장하기 위해.

제안 방법

• 고차원 유동 데이터를 저차원 잠재 공간으로 압축하기 위해 스택드 오토인코더(SAE)를 훈련시키며, 중간 층은 데이터를 감소된 수의 '코드'로 표현한다.
• 고정밀도 시뮬레이션의 스냅샷 데이터를 기반으로 비지도 학습 방식으로 SAE를 훈련시켜 전체 차원 해공간의 비선형 다양체를 학습한다.
• 이전 시간 단계의 잠재 코드를 기반으로 현재 시간 단계의 잠재 코드를 예측하기 위해 자기주의 딥러닝 네트워크를 훈련시키며, 학습된 주의 가중치를 통해 시간적 의존성을 모델링한다.
• 예측된 잠재 코드는 SAE의 디코더 네트워크를 사용하여 전체 차원 공간으로 복원되어 전체 유동장을 재구성한다.
• 전체 프레임워크는 비침습적이다: 전체 차원 모델은 수정되지 않으며, 훈련에 고정밀도 시뮬레이션의 데이터만 사용된다.
• 이 방법은 유동성 유한요소 프레임워크 내에서 구현되었으며, 실린더 후류 및 锁-교환 유동과 같은 두 가지 기준 문제에서 검증되었다.

실험 결과

연구 질문

• RQ1 SAE와 자기주의를 기반으로 한 데이터 기반 저차원 모델이 비선형 유동 문제에서 기존의 POD-기반 ROM보다 정확도 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 SAE를 통한 비선형 다양체 학습이 선형 POD 부분공간에 비해 복잡한 유동역학을 얼마나 더 잘 표현하는가?
• RQ3 자기주의 메커니즘이 표준 RNN이나 피드포워드 네트워크에 비해 잠재 공간 내 시간 예측 정확도를 얼마나 향상시키는가?
• RQ4 제안된 DDROM이 고정밀도 전체 차원 모델 및 POD-ROM에 비해 계산 효율성에서 얼마나 높은 성능 향상을 보이는가?
• RQ5 이 프레임워크는 매개변수 설정에서 다양한 초기 조건 및 경계 조건을 처리하는 데 확장 가능한가?

주요 결과

• SAE 기반 DDROM은 실린더 유동 사례에서 소용돌이 발생 및 복잡한 유동 구조를 더 잘 포착함에 따라 POD-ROM보다 유의미하게 낮은 평균제곱오차(RMSE)와 더 높은 상관계수를 기록하였다.
• 실린더 후류 유동의 경우, 6개의 잠재 코드를 사용한 DDROM은 6개의 기저 함수를 사용한 POD-ROM보다 20% 낮은 RMSE를 기록하여 더 뛰어난 정확도를 입증하였다.
• DDROM의 온라인 예측 비용은 시간 단계당 3.0×10⁻²초이며, 전체 차원 모델의 2.5초 대비 80배 이상의 속도 향상을 보였다.
• SAE 훈련 시간은 약 277–364초였고, 자기주의 훈련 시간은 182–446초였으며, 모두 오프라인에서 수행되어 온라인 추론에 재사용되었다.
• 鎖-교환 사례에서 6개의 코드를 사용한 DDROM는 전체 차원 모델 대비 100배 이상의 속도 향상을 기록하였고, 고정밀도 해와 비교해 유사한 정확도를 확보하였다.
• SAE가 제공하는 비선형 부분공간 표현 덕분에 두 테스트 케이스 모두에서 비선형 역학, 특히 일시적 및 혼돈적 행동을 성공적으로 포착하였다.