[논문 리뷰] Neural-network learning of SPOD latent dynamics

Andrea Lario, Romit Maulik외 3명|arXiv (Cornell University)|2021. 10. 18.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 주어진 시스템의 스펙트럴 고유직교분해(SPOD) 모드의 잠재 역학을 순환 신경망(LSTM)을 사용해 학습함으로써 비침습적 감소 차원 모델을 제안한다. 이 방법은 표준 POD 기반 모델보다 주파수 특이적 역학을 더 낮은 투영 오차로 포착하는 데 성공하지만, SPOD 계수의 복잡한 시간적 행동과 더 큰 잠재 공간으로 인해 더 높은 계산 비용과 학습 오차를 수반한다.

ABSTRACT

We aim to reconstruct the latent space dynamics of high dimensional, quasi-stationary systems using model order reduction via the spectral proper orthogonal decomposition (SPOD). The proposed method is based on three fundamental steps: in the first, once that the mean flow field has been subtracted from the realizations (also referred to as snapshots), we compress the data from a high-dimensional representation to a lower dimensional one by constructing the SPOD latent space; in the second, we build the time-dependent coefficients by projecting the snapshots containing the fluctuations onto the SPOD basis and we learn their evolution in time with the aid of recurrent neural networks; in the third, we reconstruct the high-dimensional data from the learnt lower-dimensional representation. The proposed method is demonstrated on two different test cases, namely, a compressible jet flow, and a geophysical problem known as the Madden-Julian Oscillation. An extensive comparison between SPOD and the equivalent POD-based counterpart is provided and differences between the two approaches are highlighted. The numerical results suggest that the proposed model is able to provide low rank predictions of complex statistically stationary data and to provide insights into the evolution of phenomena characterized by specific range of frequencies. The comparison between POD and SPOD surrogate strategies highlights the need for further work on the characterization of the interplay of error between data reduction techniques and neural network forecasts.

연구 동기 및 목표

• 고차원적이고 비정상적인 시스템을 위한 비침습적 대체 모델을 개발하기 위해 SPOD 기반 잠재 역학을 활용한다.
• SPOD를 통한 주파수 선택적 분해를 통해 복잡한 통계적 정상 데이터의 계산 비용을 줄이고 정확도를 향상시킨다.
• 투영 오차, 학습 오차, 예측 정확도 측면에서 SPOD 기반 모델링과 전통적 POD 기반 접근법을 비교한다.
• 감소 차원 모델링에서 데이터 압축과 신경망 학습 오차 간의 상호작용을 조사한다.
• 실세계 사례인 압축성 제트 유동과 메이든-줄리안 진동에 대한 본 방법의 효과성을 입증한다.

제안 방법

• 스냅샷에서 평균 유동을 빼서 데이터의 변동성을 분리한다.
• 변동 데이터에 SPOD를 적용하여 특이값 분해와 기울기 투영을 통해 주파수 해상도가 있는 직교 기저 모드를 추출한다.
• 기울기 투영을 사용해 스냅샷을 SPOD 모드에 투영하여 시간에 따라 변하는 계수를 계산하고, 이를 잠재 공간 표현으로 구성한다.
• 장기 단기 기억(LSTM) 신경망을 시간 계수에 대해 훈련시켜 그 시간적 진화를 학습하고 예측한다.
• 학습된 계수와 사전 계산된 SPOD 모드를 조합하여 고차원 데이터를 재구성한다.
• 프레임워크는 두 가지 테스트 케이스인 압축성 제트 유동과 메이든-줄리안 진동에서 검증되었으며, POD 기반 모델과의 비교 분석이 수행되었다.

실험 결과

연구 질문

• RQ1 비정상적 시스템에서 SPOD 기반 잠재 공간 학습은 POD 기반 학습에 비해 투영 오차와 학습 오차 측면에서 어떻게 비교되는가?
• RQ2 특정 주파수 대역을 가진 현상에 대해 순환 신경망이 SPOD 계수의 시간 진화를 효과적으로 학습할 수 있는가?
• RQ3 유지된 SPOD 모드의 수가 모델의 학습 오차와 재구성 정확도에 어떤 영향을 미치는가?
• RQ4 더 큰 잠재 공간 차원으로 인해 SPOD 기반 모델링의 계산 비용은 POD 기반 모델링에 비해 어떻게 비교되는가?
• RQ5 표준 POD에 비해 SPOD 프레임워크가 주파수 특이적 역학 모델링을 얼마나 향상시키는가?

주요 결과

• SPOD 기반 모델은 더 정교하고 큰 기저를 통해 주파수 특이적 역학을 더 정확히 포착함으로써 POD 기반 모델보다 낮은 투영 오차를 기록한다.
• SPOD 잠재 공간의 계수는 POD에 비해 더 복잡한 시간적 행동을 보이며, 조화적 규칙성이 떨어져 더 높은 학습 오차를 초래한다.
• SPOD 모델의 학습 오차는 유지된 모드의 수가 증가함에 따라 증가하며, 정확도와 모델 복잡도 사이의 상충 관계를 나타낸다.
• 더 높은 계산 비용에도 불구하고, SPOD 모델은 메이든-줄리안 진동과 같은 뚜렷한 주파수 대역을 가진 현상에 대해 더 높은 재구성 정밀도를 제공한다.
• 이 방법은 안정적이고 비침습적이며, 학습된 잠재 공간 진화를 통해 예측되지 않은 동역학을 정확하게 예측할 수 있다.
• 이 프레임워크는 일반적이며, 다른 신경망 아키텍처나 오토에코더와 같은 AI 기반 잠재 공간 탐색 방법과도 통합 가능하다.