[논문 리뷰] Generalised Latent Assimilation in Heterogeneous Reduced Spaces with Machine Learning Surrogate Models

Sibo Cheng, Jianhua Chen외 6명|arXiv (Cornell University)|2022. 04. 07.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

이 논문은 비선형 관측 연산자 간의 비선형성과 고차원적 CFD 응용 분야에서의 높은 정확도를 확보하면서도, 실시간 관측 데이터를 기계학습 대체 모델에 효율적으로 융합할 수 있는 새로운 데이터 융합 프레임워크인 일반화된 은닉 융합(Generic Latent Assimilation, GLA)을 제안한다. 서로 다른 은닉 공간 간의 비선형 관측 연산자를 국소 다항 대체 함수를 사용해 근사함으로써, GLA는 전체 CFD 시뮬레이션 대비 거의 1000배 빠른 계산 속도를 달성하면서도 고차원 CFD 문제에서 재구성 및 예측 정확도를 크게 향상시킨다.

ABSTRACT

Reduced-order modelling and low-dimensional surrogate models generated using machine learning algorithms have been widely applied in high-dimensional dynamical systems to improve the algorithmic efficiency. In this paper, we develop a system which combines reduced-order surrogate models with a novel data assimilation (DA) technique used to incorporate real-time observations from different physical spaces. We make use of local smooth surrogate functions which link the space of encoded system variables and the one of current observations to perform variational DA with a low computational cost. The new system, named Generalised Latent Assimilation can benefit both the efficiency provided by the reduced-order modelling and the accuracy of data assimilation. A theoretical analysis of the difference between surrogate and original assimilation cost function is also provided in this paper where an upper bound, depending on the size of the local training set, is given. The new approach is tested on a high-dimensional CFD application of a two-phase liquid flow with non-linear observation operators that current Latent Assimilation methods can not handle. Numerical results demonstrate that the proposed assimilation approach can significantly improve the reconstruction and prediction accuracy of the deep learning surrogate model which is nearly 1000 times faster than the CFD simulation.

연구 동기 및 목표

• 상태 변수와 관측 데이터가 서로 다른 물리적 양이나 오토에인코더 아키텍처로 인해 서로 다른 은닉 공간에 압축되는 상황에서 효율적이고 정확한 데이터 융합을 수행하는 데 도전한다.
• 복잡하고 비연속적인 신경망 기반 전환 연산자 간의 은닉 공간 간 변환에 직접 적용할 경우 전통적인 변분 데이터 융합이 계산적으로 불가능한 문제를 해결한다.
• 은닉 공간에서 관측 연산자를 저비용으로 국소 근사화할 수 있는 대체 모델 기반 접근법을 개발하여 정확도를 유지하면서도 계산 효율성을 확보한다.
• 진짜 융합 비용 함수를 대체 연산자로 근사함으로써 발생하는 오차에 대한 이론적 상한선을 제공한다.
• 기존의 은닉 융합 방법이 실패하는 비선형 관측 연산자가 존재하는 고차원 이상유체역학(CFD) 문제에 대해 방법을 검증한다.

제안 방법

• 상태 변수와 관측 데이터를 별도의 오토에인코더(AE)를 사용해 서로 다른 은닉 공간으로 압축함으로써 이질적 감소 차원 표현을 가능하게 한다.
• 배경 상태 주변에 국소 다항 대체 함수를 구성하여 은닉 상태 공간과 관측 공간 간의 비선형 전환 연산자를 근사한다.
• 이 대체 연산자를 사용해 은닉 공간에서 변분 데이터 융합을 수행하며, 배경 항과 관측 항을 포함한 비용 함수를 최소화한다.
• 국소 정확도와 매끄러움을 확보하기 위해 배경 상태 주변의 이웃 영역에서 라틴 하이퍼큐브 샘플링(Latin Hypercube Sampling, LHS)을 사용해 대체 함수를 훈련한다.
• 이론적 분석을 통해 진짜 비용 함수와 대체 비용 함수 간의 차이에 대한 상한선을 도출하며, 이는 국소 훈련 세트의 크기에 따라 영향을 받는다.
• 동적 예측을 위해 은닉 공간에서 순환 신경망(RNN) 대체 모델과 통합함으로써 희소 관측을 실시간으로 보정할 수 있다.

실험 결과

연구 질문

• RQ1 서로 다른 오토에인코더를 사용해 상태 데이터와 관측 데이터를 압축한 서로 다른 은닉 공간에 존재할 경우, 효과적인 데이터 융합이 가능할 수 있는가?
• RQ2 이질적 은닉 공간 간의 비선형적이고 비연속적인 관측 연산자를 변분 융합에 효율적으로 근사할 수 있는 방법은 무엇인가?
• RQ3 대체 기반 융합 비용 함수의 이론적 오차 상한선은 진짜 비용 함수와 비교해 어떻게 되는가?
• RQ4 제안된 방법은 고차원 비선형 CFD 문제에서 높은 계산 효율성과 함께 향상된 예측 정확도를 달성할 수 있는가?
• RQ5 대체 기반 융합의 성능은 국소 훈련 세트의 크기와 샘플링 전략에 따라 어떻게 달라지는가?

주요 결과

• 제안된 일반화된 은닉 융합(GLA) 방법은 기존의 은닉 융합 방법이 은닉 공간 불일치로 실패하는 이질적 감소 공간에서도 효과적인 변분 융합을 가능하게 한다.
• GLA는 전체 CFD 시뮬레이션 대비 1000배 빠른 속도를 확보하면서도 이중상류 CFD 응용 분야에서 높은 예측 정확도를 유지한다.
• 대체 기반 관측 연산자 근사는 계산 비용을 크게 감소시켜 최소한의 오버헤드로 실시간 융합을 가능하게 한다.
• 진짜 비용 함수와 대체 비용 함수 간의 오차에 대한 상한선이 유도되었으며, 이는 국소 훈련 세트가 클수록 오차가 감소함을 보여준다.
• 수치 결과는 GLA가 비선형 관측 연산자가 존재하는 상황에서도 딥 러닝 대체 모델의 재구성 및 예측 정확도를 크게 향상시킴을 입증한다.
• 이 방법은 비선형성에 강건하며, 바람 세기와 강수량 데이터처럼 물리적으로 다른 상태 및 관측 변수가 존재하는 기상학적 또는 수문학적 시스템과 같은 문제에 적용 가능하다.