[논문 리뷰] Error estimation for surrogate models of dynamical systems using machine learning.

Sumeet Trehan, Kevin Carlberg외 1명|arXiv (Cornell University)|2017. 01. 12.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 매개변수화된 동역계 시스템에서 저비용 오차 지표를 시간순간 오차로 매핑함으로써, 고차원 회귀(예: 랜덤 포레스트, LASSO)를 사용하여 대체 모델 오차를 예측하는 기계학습 프레임워크를 제안한다. 이 방법은 국소적 회귀 모델을 통해 비선형 지하 흐름 시뮬레이션에서 감소된 순서 모델의 정확도를 향상시키며, 실시간 오차 보정과 양적 관심 사항의 통합 오차 통계 모델링을 가능하게 한다.

ABSTRACT

A machine-learning-based framework for modeling the error introduced by surrogate models of parameterized dynamical systems is proposed. The framework entails the use of high-dimensional regression techniques (e.g., random forests, LASSO) to map a large set of inexpensively computed `error indicators' (i.e., features) produced by the surrogate model at a given time instance to a prediction of the surrogate-model error in a quantity of interest (QoI). This eliminates the need for the user to hand-select a small number of informative features. The methodology requires a training set of parameter instances at which the time-dependent surrogate-model error is computed by simulating both the high-fidelity and surrogate models. Using these training data, the method first determines regression-model locality (via classification or clustering), and subsequently constructs a `local' regression model to predict the time-instantaneous error within each identified region of feature space. We consider two uses for the resulting error model: (1) as a correction to the surrogate-model QoI prediction at each time instance, and (2) as a way to statistically model arbitrary functions of the time-dependent surrogate-model error (e.g., time-integrated errors). We apply the proposed framework to model errors in reduced-order models of nonlinear oil--water subsurface flow simulations. The reduced-order models used in this work entail application of trajectory piecewise linearization with proper orthogonal decomposition. When the first use of the method is considered, numerical experiments demonstrate consistent improvement in accuracy in the time-instantaneous QoI prediction relative to the original surrogate model, across a large number of test cases. When the second use is considered, results show that the proposed method provides accurate statistical predictions of the time- and well-averaged errors.

연구 동기 및 목표

• 매개변수화된 동역계 시스템에서 대체 모델에 의해 유도되는 오차를 정량화하고 보정하는 데 도전하는 것.
• 유익한 특징의 수동 선택이 필요 없도록, 다수의 저비용 오차 지표에 대해 고차원 회귀를 활용하는 것.
• 특징 공간의 다양한 영역에 적응하는 국소적 회귀 모델링 접근법을 개발하는 것.
• 대체 모델 예측의 실시간 보정과 관심 양의 시간 통합 오차에 대한 통계 모델링을 가능하게 하는 것.
• 궤도 조각 선형화와 적절한 직교 분해를 사용하여 비선형 오일–워터 지하 흐름 시뮬레이션의 감소된 순서 모델에 프레임워크를 검증하는 것.

제안 방법

• 고정밀도 및 대체 모델 시뮬레이션을 수행한 매개변수 인스턴스의 학습 세트를 사용하여 시간에 따라 변화하는 대체 모델 오차를 계산한다.
• 특징 공간의 오차 지표에서 국소 영역을 식별하기 위해 분류 또는 군집화를 적용하여 국소적 회귀 모델링을 가능하게 한다.
• 각 식별된 영역 내에서 국소적 회귀 모델(예: 랜덤 포레스트, LASSO)을 구성하여 관심 양의 순순간 오차를 예측한다.
• 이 방법은 두 가지 응용을 지원한다: (1) 각 시간 단계에서 대체 모델의 QoI 예측을 보정하고, (2) 시간 평균 및 웰 평균 오차와 같은 시간에 따라 변화하는 오차의 함수를 통계적으로 모델링한다.
• 각 시간 인스턴스에서 저비용으로 오차 지표를 계산하고, 이를 회귀 모델의 특징으로 사용한다.
• 수동으로 선택된 특징에 의존하지 않도록, 포괄적인 오차 지표 세트에 대해 고차원 회귀를 사용하여 관련 오차 패턴을 자동으로 식별한다.

실험 결과

연구 질문

• RQ1 다수의 저비용 오차 지표를 사용하여 기계학습 모델이 대체 모델의 시간순간 오차를 효과적으로 예측할 수 있는가?
• RQ2 비균질한 특징 공간에서 국소적 회귀 모델링이 전역 모델에 비해 오차 예측 정확도를 얼마나 향상시키는가?
• RQ3 다양한 테스트 케이스 전반에서 예측된 오차 모델이 실시간으로 대체 모델 예측을 얼마나 효과적으로 보정할 수 있는가?
• RQ4 시간 평균 및 웰 평균 오차와 같은 시간 통합 오차의 통계적 성질을 프레임워크가 정확하게 모델링할 수 있는가?
• RQ5 복잡하고 비선형적인 동역계 시스템, 예를 들어 지하 흐름 시뮬레이션에 적용했을 때 이 방법의 강건성은 어느 정도인가?

주요 결과

• 제안된 방법은 다양한 테스트 케이스 전반에서 원래의 대체 모델에 비해 관심 양의 시간순간 예측 정확도를 일관되게 향상시킨다.
• 군집화 또는 분류된 특징 공간 영역 기반의 국소적 회귀 모델링은 전역 모델보다 더 정확한 오차 예측을 가능하게 한다.
• 순간 오차를 예측하고 조정함으로써 이 프레임워크는 대체 모델 출력의 효과적인 실시간 보정을 가능하게 한다.
• 예측된 오차 모델을 사용하여 시간 평균 및 웰 평균 오차의 통계 모델링을 수행하면 정확한 결과를 도출하며, 불확실성 정량화에 유용함을 입증한다.
• 포괄적인 오차 지표 세트에 대해 고차원 회귀를 활용함으로써 전문가 기반 특징 선택에 대한 의존도를 감소시킨다.
• 비선형 오일–워터 지하 흐름의 감소된 순서 모델에 대해 검증되었으며, 복잡하고 실제 적용 가능한 응용 분야에서 뛰어난 성능을 보였다.