[논문 리뷰] Multi-fidelity data fusion through parameter space reduction with applications to automotive engineering

Francesco Romor, Marco Tezzele외 3명|arXiv (Cornell University)|2021. 10. 27.

Gaussian Processes and Bayesian Inference참고 문헌 55인용 수 5

한 줄 요약

이 논문은 다중 정밀도 가우시안 프로세스 회귀 프레임워크를 제안하며, 활성 부분공간(AS)과 비선형 수준집합 학습(NLL)을 활용하여 매개변수 공간의 차원을 감소시켜, 단순화된 물리 모델이 필요 없이도 고차원 응답 표면 근사화를 정확하게 수행할 수 있도록 한다. 이 방법은 단일 정밀도 GP 대비 최대 5% 향상된 R² 점수를 달성하여 자동차 항공역학 및 벤치마크 문제에서 데이터 효율적이고 저내재 차원성 편향을 가진 예측 성능 향상을 입증한다.

ABSTRACT

Multi-fidelity models are of great importance due to their capability of fusing information coming from different numerical simulations, surrogates, and sensors. We focus on the approximation of high-dimensional scalar functions with low intrinsic dimensionality. By introducing a low dimensional bias we can fight the curse of dimensionality affecting these quantities of interest, especially for many-query applications. We seek a gradient-based reduction of the parameter space through linear active subspaces or a nonlinear transformation of the input space. Then we build a low-fidelity response surface based on such reduction, thus enabling nonlinear autoregressive multi-fidelity Gaussian process regression without the need of running new simulations with simplified physical models. This has a great potential in the data scarcity regime affecting many engineering applications. In this work we present a new multi-fidelity approach that involves active subspaces and the nonlinear level-set learning method, starting from the preliminary analysis previously conducted in Romor et al. 2020. The proposed framework is tested on two high-dimensional benchmark functions, and on a more complex car aerodynamics problem. We show how a low intrinsic dimensionality bias can increase the accuracy of Gaussian process response surfaces.

연구 동기 및 목표

• 자동차 항공역학과 같은 고차원, 데이터 부족 공학 응용에서의 차원의 극복 문제를 해결한다.
• 기존의 저정밀도 모델이 여전히 가우시안 프로세스 회귀에서 고차원 복잡성 문제를 겪는 데서 비롯되는 한계를 극복한다.
• 물리적 단순화 모델에 의존하지 않고 매개변수 공간 감소 기법을 활용한 데이터 기반 다중 정밀도 프레임워크를 개발한다.
• 비선형 자동재귀 가우시안 프로세스(NARGP)를 활용하여 고차원 스칼라 함수에 대한 응답 표면 근사화의 정확도를 향상시킨다.
• 선형(AS)과 비선형(NLL) 매개변수 공간 감소를 통합한 다중 정밀도 회귀 파이프라인을 구축하여 예측 성능을 향상시킨다.

제안 방법

• 출력 함수의 주요 변동을 반영하는 저차원 매개변수 부분공간을 식별하기 위해 선형 활성 부분공간(AS)을 적용한다.
• 역행렬 신경망(RevNets)을 통한 비선형 수준집합 학습(NLL)을 활용해 출력 수준집합의 기하학적 구조와 일치하는 입력 공간의 비선형 변환을 학습한다.
• AS 또는 NLL로부터 유도된 저차원 매개변수 공간을 사용하여 저정밀도 응답 표면을 구축하며, 단순화된 모델의 새로운 시뮬레이션을 필요로 하지 않는다.
• 감소된 정밀도 모델을 비선형 자동재귀 다중 정밀도 가우시안 프로세스(NARGP) 프레임워크에 통합하여 계층적이고 데이터 효율적인 회귀를 가능하게 한다.
• 고정밀도 데이터와 유도된 저정밀도 대체 모델을 사용하여 NARGP 모델을 훈련시키며, 서로 다른 정밀도 간 상관관계를 활용해 일반화 성능을 향상시킨다.
• 교차검증과 외부 훈련 재시작을 통해 모델의 강건성과 최적 설정을 검증하며, 특히 DDES-AS 모델에 대해 집중한다.

실험 결과

연구 질문

• RQ1 활성 부분공간과 비선형 수준집합 학습이 공학 응용에서 고차원 입력 공간의 내재 차원을 효과적으로 감소시킬 수 있는가?
• RQ2 매개변수 공간 감소 기반 데이터 기반 저정밀도 대체 모델이 다중 정밀도 가우시안 프로세스 회귀에서 기존의 저정밀도 모델을 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ3 AS 또는 NLL를 통한 저내재 차원성 편향 통합이 단일 정밀도 GP에 비해 고차원 응답 표면 근사화의 정확도를 얼마나 향상시키는가?
• RQ4 복잡한 자동차 항공역학 문제에서 제안된 다중 정밀도 프레임워크가 단일 정밀도 GP 및 표준 다중 정밀도 모델에 비해 상대적으로 얼마나 뛰어난 성능을 보이는가?
• RQ5 추가적인 저정밀도 시뮬레이션 없이도 제안된 방법이 데이터 부족 환경에서 의미 있는 정확도 향상을 달성할 수 있는가?

주요 결과

• 피스톤 및 에볼라 벤치마크 문제에서 NARGP-AS 모델은 표본 크기에 따라 단일 정밀도 GP 대비 R² 점수에서 3–5%의 상대적 향상을 달성했다.
• 제타-6 시험 케이스에서 NARGP-NLL는 저정밀도 모델 대비 2%의 정확도 향상을, 고정밀도 모델 대비 4%의 향상을 기록했다.
• DDES-AS 다중 정밀도 모델은 DDES-RANS 모델과 유사한 정확도를 달성하여, 물리적 단순화 없이도 AS 기반 대체 모델이 효과적인 저정밀도 모델로 기능할 수 있음을 입증했다.
• RANS 모델은 DDES 출력과 낮은 상관관계를 보였음(평균 R² < 0), 그러나 DDES-RANS 다중 정밀도 모델은 여전히 단일 정밀도 DDES 모델을 뛰어넘는 성능을 보여, 다중 정밀도 융합의 가치를 입증했다.
• DDES-AS 모델은 20회의 훈련 재시작 전반에서 강건성을 보였으며, 7번째 재시작에서 최적 설정이 일관되게 선택되었다.
• 이 프레임워크는 고차원, 데이터 부족 환경에서도 고정밀도 데이터로부터 저내재 차원성 구조를 추출함으로써 정확한 응답 표면 모델링을 가능하게 한다.